← 研踪 PaperTrail软件学报:jos:7704 · 记录 #1
大语言模型中逻辑神经元的系统性探测与影响分析
来源日期 2026-08-12
来源记录日期 2026-08-12
雷达观测 2026-11-05 00:19
摘要
大语言模型(large language model, LLM)在涉及逻辑操作的复杂推理任务中表现良好, 然而其逻辑推理能力的内部机理仍缺乏明确的可解释性分析. 目前尚不明确LLM内部是否存在与逻辑推理任务表现密切相关的神经元子集, 这些神经元在网络中以何种形式进行计算表征, 它们又如何影响模型在不同任务中的表现. 为探究上述涉及LLM推理机制本质的关键问题, 提出一种“识别-干预-评估”框架, 旨在系统性地剖析逻辑推理能力的神经元运行基础与功能实现. 利用基于梯度重要性的神经元定位方法, 定位对逻辑推理任务高度敏感的“逻辑神经元”, 并结合激活值进行定向干预, 进而评估其对模型行为的影响. 研究结果表明, 所定位的逻辑相关神经元子集主要集中于网络中层, 并以前馈网络模块(feed-forward network, FFN)为主导. 进一步的分析表明, 不同逻辑任务之间既存在共享神经元成分, 也存在任务特异性差异. 基于这些发现, 探索一种无需修改模型权重、轻量级的逻辑推理能力定向增强方法, 实验结果显示, 该方法在LogicBench的长链推理任务上将模型平均准确率提升9.2%, 并在逻辑敏感型通用任务上性能提升4.57%.
论文发现出处
这些页面提供论文线索，不代表同行评审或质量认证。
发表信息与关联版本
软件学报 ↗2026 · 正式发表 · DOI: 10.13328/j.cnki.jos.007704
观测到的版本
平台记录号代表本站观测到的元数据变化，不是作者修订号。来源日期仅到月份或年份时，按该月或该年首日存档。
记录 #1 · 2026-08-12 · 最新观测版本
大语言模型中逻辑神经元的系统性探测与影响分析
大语言模型(large language model, LLM)在涉及逻辑操作的复杂推理任务中表现良好, 然而其逻辑推理能力的内部机理仍缺乏明确的可解释性分析. 目前尚不明确LLM内部是否存在与逻辑推理任务表现密切相关的神经元子集, 这些神经元在网络中以何种形式进行计算表征, 它们又如何影响模型在不同任务中的表现. 为探究上述涉及LLM推理机制本质的关键问题, 提出一种“识别-干预-评估”框架, 旨在系统性地剖析逻辑推理能力的神经元运行基础与功能实现. 利用基于梯度重要性的神经元定位方法, 定位对逻辑推理任务高度敏感的“逻辑神经元”, 并结合激活值进行定向干预, 进而评估其对模型行为的影响. 研究结果表明, 所定位的逻辑相关神经元子集主要集中于网络中层, 并以前馈网络模块(feed-forward network, FFN)为主导. 进一步的分析表明, 不同逻辑任务之间既存在共享神经元成分, 也存在任务特异性差异. 基于这些发现, 探索一种无需修改模型权重、轻量级的逻辑推理能力定向增强方法, 实验结果显示, 该方法在LogicBench的长链推理任务上将模型平均准确率提升9.2%, 并在逻辑敏感型通用任务上性能提升4.57%.
查看此版本解读 →查看此版本原文 ↗