← 研踪 PaperTrail软件学报:jos:7675 · 记录 #1
Int-AD: 面向提示注入攻击的攻防一体化框架
来源日期 2026-07-01
来源记录日期 2026-07-01
雷达观测 2026-11-05 00:20
摘要
提示注入攻击(prompt injection attack)已成为大语言模型(LLM)应用日益严峻的安全威胁, 位于OWASP开放式Web应用程序安全项目10大威胁之首. 此类攻击通过在提示词中嵌入恶意内容来诱导大模型生成误导性输出, 带来信息泄露、系统滥用等严重安全隐患. 然而, 目前针对此类攻击的攻击策略评估指标仅有攻击成功率, 难以全面评估攻击效果; 在防御策略方面, 现有方法通常只能单独用于预防或检测, 两者难以兼得. 深入分析提示注入攻击和防御的特征及其对大模型输出的影响, 提出攻防一体化框架Int-AD, 包括: 采用情感增强和控制输出的提示注入攻击方法CoA (control-output attack)和同时具备预防和检测能力的防御策略UnD (universal defense). 在攻击方面, 定义两个新的攻击评价指标: 攻击干扰率(attack interference rate, AIR)与攻击误导率(attack misdirection rate, AMR), 用于在攻击结果不同时分别进行精准评估, 完善攻击评估指标. 通过情感增强和控制输出设计提示词, 将AIR和AMR与现有METEOR评估指标联合使用来评估CoA的攻击效率; 在防御方面, UnD兼具预防和检测能力, 可提高防御成功率并检测提示注入攻击的影响. 在Qwen、Llama、DeepSeek这3个主流大模型上采用squad和web_questions两个公开数据集进行实验, CoA攻击方法的平均METEOR得分为0.050, 相比当前最好方法Combine可降低42.5%; 平均AIR和AMR分别达到0.97和0.45, 相比Combine分别提升6.59%和28.57%, 表明CoA具有更强的攻击能力. UnD的平均防御成功率达80.6%, 相比当前最好方法Sandwich提高9.07%, 其平均KMR (knownanswer matching rate)为0.921, 较方法Knownanswer提升58.52%, 表明UnD具有更强的防御能力.
论文发现出处
这些页面提供论文线索，不代表同行评审或质量认证。
发表信息与关联版本
软件学报 ↗2026 · 正式发表 · DOI: 10.13328/j.cnki.jos.007675
观测到的版本
平台记录号代表本站观测到的元数据变化，不是作者修订号。来源日期仅到月份或年份时，按该月或该年首日存档。
记录 #1 · 2026-07-01 · 最新观测版本
Int-AD: 面向提示注入攻击的攻防一体化框架
提示注入攻击(prompt injection attack)已成为大语言模型(LLM)应用日益严峻的安全威胁, 位于OWASP开放式Web应用程序安全项目10大威胁之首. 此类攻击通过在提示词中嵌入恶意内容来诱导大模型生成误导性输出, 带来信息泄露、系统滥用等严重安全隐患. 然而, 目前针对此类攻击的攻击策略评估指标仅有攻击成功率, 难以全面评估攻击效果; 在防御策略方面, 现有方法通常只能单独用于预防或检测, 两者难以兼得. 深入分析提示注入攻击和防御的特征及其对大模型输出的影响, 提出攻防一体化框架Int-AD, 包括: 采用情感增强和控制输出的提示注入攻击方法CoA (control-output attack)和同时具备预防和检测能力的防御策略UnD (universal defense). 在攻击方面, 定义两个新的攻击评价指标: 攻击干扰率(attack interference rate, AIR)与攻击误导率(attack misdirection rate, AMR), 用于在攻击结果不同时分别进行精准评估, 完善攻击评估指标. 通过情感增强和控制输出设计提示词, 将AIR和AMR与现有METEOR评估指标联合使用来评估CoA的攻击效率; 在防御方面, UnD兼具预防和检测能力, 可提高防御成功率并检测提示注入攻击的影响. 在Qwen、Llama、DeepSeek这3个主流大模型上采用squad和web_questions两个公开数据集进行实验, CoA攻击方法的平均METEOR得分为0.050, 相比当前最好方法Combine可降低42.5%; 平均AIR和AMR分别达到0.97和0.45, 相比Combine分别提升6.59%和28.57%, 表明CoA具有更强的攻击能力. UnD的平均防御成功率达80.6%, 相比当前最好方法Sandwich提高9.07%, 其平均KMR (knownanswer matching rate)为0.921, 较方法Knownanswer提升58.52%, 表明UnD具有更强的防御能力.
查看此版本解读 →查看此版本原文 ↗