软件学报:jos:7743 · 记录 #1

人工智能保险箍: 发展现状与未来展望

来源日期 2026-10-28

来源记录日期 2026-10-28

雷达观测 2026-11-01 16:34

摘要

近年来, 以大语言模型和具身智能为代表的面向通用人工智能发展的相关技术快速演进, 其广泛应用在带来巨大潜力的同时, 也引入了复杂的安全风险. 这些风险总体可分为两类: 一类是源于模型缺陷、系统设计或环境不确定性的自发性风险, 另一类是由外部对抗攻击或恶意诱导触发的诱发性风险. 为保障人工智能系统在开放环境中的安全可靠运行, 人工智能保险箍通过风险感知、风险量化与风险熔断这3类核心能力, 为人工智能行为体构建独立的安全保障机制, 使系统具备在行为偏离安全边界时及时识别、风险评估与干预控制的能力. 以人工智能保险箍为研究对象, 系统梳理相关研究进展与关键技术. 首先界定人工智能行为体的基本概念及其潜在失控风险类型. 随后围绕风险感知、风险量化与风险熔断这3个技术维度, 对相关研究进行系统分类与综述, 并分析国内外代表性工作的研究现状. 区别于以威胁检测或单点防御技术为核心的综述, 从构建面向人工智能行为体的底线安全机制这一视角出发, 对人工智能保险箍的技术体系进行整体分析. 最后讨论该领域面临的关键挑战与未来发展方向, 为构建安全可控的人工智能系统提供参考.