软件学报:jos:7751 · 记录 #1

DiffuCD: 面向扩散语言模型的高效对比解码

来源日期 2026-10-14

来源记录日期 2026-10-14

雷达观测 2026-11-01 16:34

摘要

当前主流大语言模型大多采用自回归生成范式, 需要逐token生成文本, 难以满足实际应用对高效推理的需求. 扩散语言模型通过迭代去噪实现并行解码, 在推理效率上具有一定理论优势, 因而被视为提升大语言模型推理效率的一条重要技术路径. 然而, 现有扩散语言模型的生成质量仍有较大提升空间. 对比解码是一种被广泛证明有效的提升语言模型生成质量的方法, 其核心思想是利用能力较弱的业余分布对能力较强的专家分布进行校正. 然而, 现有对比解码方法主要面向自回归语言模型设计, 通常需要额外引入模型来提供业余分布, 这会显著增加推理开销, 削弱扩散语言模型高效推理的核心优势. 为此, 提出一种面向扩散语言模型的高效对比解码方法DiffuCD. 该方法基于一个关键观察: 在扩散语言模型的去噪过程中, 早期时间步由于可利用的上下文信息有限, 预测质量较低; 随着去噪推进, 预测质量逐步提升. 这一特性天然满足对比解码对分布强弱差异的要求. 基于此, DiffuCD直接将历史时间步的预测分布作为业余分布, 将当前时间步的预测分布作为专家分布, 从而对当前分布进行校正. 在4个扩散语言模型和6个评估基准上进行广泛实验. 实验结果表明, DiffuCD能够在多种模型和任务上稳定提升模型生成质量, 并且在吞吐量和峰值显存占用方面与未使用对比解码的对比方法几乎一致, 较好地保留了扩散语言模型高效推理的理论优势.