← 研踪 PaperTrail软件学报:jos:7749 · 记录 #1
面向大语言模型智能体安全的异常检测方法综述
来源日期 2026-11-18
来源记录日期 2026-11-18
雷达观测 2026-11-18 14:10
摘要
以大语言模型(large language model, LLM)为核心的智能体和多智能体系统, 凭借其卓越的意图理解、推理规划和执行能力, 正广泛应用于各个领域. 近年来, 随着LLM能力的提升及其与外部环境交互的加强, 针对智能体系统的攻击行为持续演化, LLM幻觉也难以避免, 导致智能体系统在实际应用中面临各种安全威胁. 现有研究表明, 仅依赖LLM自身的安全机制难以保证系统的安全性, 准确识别各种异常行为对于智能体生态的良性发展有重要意义. 围绕智能体安全的异常检测问题, 首先从模型层、认知层和交互层梳理了当前智能体系统面临的安全威胁; 其次, 从拓扑图视角对智能体和多智能体系统进行形式化表示, 提出基于双层复合图的分类方法, 对LLM智能体安全的异常检测方法进行综述和分析; 接着, 提出提升智能体可信度的6大安全目标, 并基于此构建一个多维度的异常检测评估指标, 且在主流模型下验证其有效性和鲁棒性; 最后, 讨论现有检测机制的主要挑战和未来发展方向.
论文发现出处
这些页面提供论文线索,不代表同行评审或质量认证。
发表信息与关联版本
软件学报 ↗2026 · 正式发表 · DOI: 10.13328/j.cnki.jos.007749
观测到的版本
平台记录号代表本站观测到的元数据变化,不是作者修订号。来源日期仅到月份或年份时,按该月或该年首日存档。
记录 #1 · 2026-11-18 · 最新观测版本
面向大语言模型智能体安全的异常检测方法综述
以大语言模型(large language model, LLM)为核心的智能体和多智能体系统, 凭借其卓越的意图理解、推理规划和执行能力, 正广泛应用于各个领域. 近年来, 随着LLM能力的提升及其与外部环境交互的加强, 针对智能体系统的攻击行为持续演化, LLM幻觉也难以避免, 导致智能体系统在实际应用中面临各种安全威胁. 现有研究表明, 仅依赖LLM自身的安全机制难以保证系统的安全性, 准确识别各种异常行为对于智能体生态的良性发展有重要意义. 围绕智能体安全的异常检测问题, 首先从模型层、认知层和交互层梳理了当前智能体系统面临的安全威胁; 其次, 从拓扑图视角对智能体和多智能体系统进行形式化表示, 提出基于双层复合图的分类方法, 对LLM智能体安全的异常检测方法进行综述和分析; 接着, 提出提升智能体可信度的6大安全目标, 并基于此构建一个多维度的异常检测评估指标, 且在主流模型下验证其有效性和鲁棒性; 最后, 讨论现有检测机制的主要挑战和未来发展方向.
查看此版本解读 →查看此版本原文 ↗