跳到正文
研踪PaperTrail
← 研踪 PaperTrail

软件学报:jos:7749 · 记录 #1

面向大语言模型智能体安全的异常检测方法综述

来源日期 2026-11-18
来源记录日期 2026-11-18
雷达观测 2026-11-18 14:10
软件学报 ↗PDF ↗

摘要

以大语言模型(large language model, LLM)为核心的智能体和多智能体系统, 凭借其卓越的意图理解、推理规划和执行能力, 正广泛应用于各个领域. 近年来, 随着LLM能力的提升及其与外部环境交互的加强, 针对智能体系统的攻击行为持续演化, LLM幻觉也难以避免, 导致智能体系统在实际应用中面临各种安全威胁. 现有研究表明, 仅依赖LLM自身的安全机制难以保证系统的安全性, 准确识别各种异常行为对于智能体生态的良性发展有重要意义. 围绕智能体安全的异常检测问题, 首先从模型层、认知层和交互层梳理了当前智能体系统面临的安全威胁; 其次, 从拓扑图视角对智能体和多智能体系统进行形式化表示, 提出基于双层复合图的分类方法, 对LLM智能体安全的异常检测方法进行综述和分析; 接着, 提出提升智能体可信度的6大安全目标, 并基于此构建一个多维度的异常检测评估指标, 且在主流模型下验证其有效性和鲁棒性; 最后, 讨论现有检测机制的主要挑战和未来发展方向.

论文发现出处

这些页面提供论文线索,不代表同行评审或质量认证。

AI 论文解读

基于摘要 · 非全文审阅

此版本尚未生成 AI 解读。解读由后台任务生成并按论文版本保存,登录后共享已有结果。

发表信息与关联版本

软件学报 ↗

2026 · 正式发表 · DOI: 10.13328/j.cnki.jos.007749

版本差异

目前只收录了一个版本。收录下一版后,可以对照标题、作者、分类和摘要。

观测到的版本

平台记录号代表本站观测到的元数据变化,不是作者修订号。来源日期仅到月份或年份时,按该月或该年首日存档。

记录 #1 · 2026-11-18 · 最新观测版本

面向大语言模型智能体安全的异常检测方法综述

以大语言模型(large language model, LLM)为核心的智能体和多智能体系统, 凭借其卓越的意图理解、推理规划和执行能力, 正广泛应用于各个领域. 近年来, 随着LLM能力的提升及其与外部环境交互的加强, 针对智能体系统的攻击行为持续演化, LLM幻觉也难以避免, 导致智能体系统在实际应用中面临各种安全威胁. 现有研究表明, 仅依赖LLM自身的安全机制难以保证系统的安全性, 准确识别各种异常行为对于智能体生态的良性发展有重要意义. 围绕智能体安全的异常检测问题, 首先从模型层、认知层和交互层梳理了当前智能体系统面临的安全威胁; 其次, 从拓扑图视角对智能体和多智能体系统进行形式化表示, 提出基于双层复合图的分类方法, 对LLM智能体安全的异常检测方法进行综述和分析; 接着, 提出提升智能体可信度的6大安全目标, 并基于此构建一个多维度的异常检测评估指标, 且在主流模型下验证其有效性和鲁棒性; 最后, 讨论现有检测机制的主要挑战和未来发展方向.

查看此版本解读 →查看此版本原文 ↗