文章背景与核心概要
扩散语言模型（DLMs）虽然具备并行生成令牌（token）的优势，但在推理过程中由于需要进行重复的去噪步骤，导致计算成本高昂。为了解决这一痛点，本文提出了 CAI-DLLM（Diffusion Language Models 的收敛感知推理），这是一个无需重新训练的新型推理框架，旨在优化这一过程。
该方法通过利用“第一步置信度”（first-step confidence）信号，能够早期识别出稳定的令牌，从而允许模型提早锁定这些令牌，并将计算资源重新分配给更复杂、更困难的令牌。实验证明，这种方法在无需重新训练、更新权重或引入额外预测器的情况下，显著减少了推理时间和能耗。
CAI-DLLM: Convergence Aware Inference for Diffusion Language Models
Authors: Farhana Amin, Sabiha Afroz, Dimitrios S. Nikolopoulos
Date: August 23, 2026
Subject: Artificial Intelligence (cs.AI)
arXiv ID: 2608.22646
摘要与总结
扩散语言模型（DLMs）虽然可以并行生成许多令牌，但它们在推理过程中仍然需要重复的去噪步骤。这使得生成成本高昂，特别是当模型持续重新计算那些已经稳定的令牌时。为了解决这些局限性，我们提出了 CAI-DLLM，这是一种无需训练的推理方法，它利用第一步置信度来指导去噪并减少推理时间。具体而言，CAI-DLLM 更早地锁定简单令牌，为较难的令牌分配更多的去噪步骤，并跨输出块调整解码调度。由于它仅依赖第一步置信度信号，因此不需要重新训练、额外的预测器或权重更新。我们在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 模型上，跨数学、代码、推理、常识和长文本任务评估了 CAI-DLLM。在 LLaDA GSM8K 上，CAI-DLLM 实现了高达 18.2 倍的实际推理加速，同时将准确率从 76.27% 提高到 77.41%；在 Dream HumanEval 上实现了高达 13.1 倍的加速，同时达到了比无缓存推理更高的 pass@1（48.17% 对比 46.95%）。在更困难的推理任务中，加速比高达 44.8 倍，最大准确率下降仅为 4.4 个百分点，同时能耗降低了高达 95.3%。
Diffusion language models (DLMs) offer the advantage of parallel token generation but are hindered by the high computational cost of repeated denoising steps during inference. CAI-DLLM (Convergence Aware Inference for Diffusion Language Models) is a novel, training-free inference framework designed to optimize this process.
By leveraging "first-step confidence" signals, the method identifies stable tokens early, allowing the model to commit to them and reallocate computational resources toward more complex, "harder" tokens. This approach significantly reduces inference time and energy consumption without requiring retraining, weight updates, or additional predictors.
核心贡献
- 效率： 实现了巨大的加速，包括在 LLaDA GSM8K 上高达 18.2倍 以及在复杂推理任务上高达 44.8倍 的加速。
- 性能： 在保持或提升准确率的同时（例如，将 LLaDA GSM8K 的准确率从 76.27% 提升至 77.41%），将能耗降低了高达 95.3%。
- 灵活性： 一种无需训练的方法，可根据令牌难度跨输出块调整解码调度。
- 通用性： 使用 LLaDA-8B-Instruct 和 Dream-7B-Instruct 模型，在数学、代码生成、推理、常识和长文本处理等广泛任务中得到了验证。
- Efficiency: Achieves dramatic speedups, including up to 18.2x on LLaDA GSM8K and 44.8x on complex reasoning tasks.
- Performance: Maintains or improves accuracy (e.g., improving LLaDA GSM8K accuracy from 76.27% to 77.41%) while reducing energy consumption by up to 95.3%.
- Flexibility: A training-free method that adjusts decoding schedules across output blocks based on token difficulty.
- Versatility: Validated across a wide range of tasks, including math, code generation, reasoning, commonsense, and long-context processing using LLaDA-8B-Instruct and Dream-7B-Instruct models.
论文摘要原文
扩散语言模型可以并行生成许多令牌，但它们在推理过程中仍然需要重复的去噪步骤。这使得生成成本高昂，特别是当模型继续重新计算已经稳定的令牌时。为了解决这些局限性，我们提出了 CAI-DLLM，这是一种无需训练的推理方法，它使用第一步置信度来指导去噪并减少推理时间。具体来说，CAI-DLLM 更早地锁定简单令牌，为更难的令牌分配更多的去噪步骤，并跨输出块调整解码调度。由于它仅依赖第一步置信度信号，因此不需要重新训练、额外的预测器或权重更新。我们在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上跨数学、代码、推理、常识和长文本任务评估了 CAI-DLLM。CAI-DLLM 在 LLaDA GSM8K 上实现了高达 18.2 倍的时钟推理加速，同时将准确率从 76.27% 提高到 77.41%，在 Dream HumanEval 上实现了高达 13.1 倍的加速，同时实现了比无缓存推理更高的 pass@1（48.17% 对比 46.95%）。在更困难的推理任务中，加速比达到 44.8 倍，最大准确率下降为 4.4 个百分点，同时能耗降低了高达 95.3%。
Diffusion language models can generate many tokens in parallel, but they still require repeated denoising steps during inference. This makes generation costly, especially when the model continues to recompute tokens that are already stable. To address these limitations, we propose CAI-DLLM, a training-free inference method that uses first-step confidence to guide denoising and reduce inference time. Specifically, CAI-DLLM commits easy tokens earlier, allocates more denoising steps to harder tokens, and adjusts decoding schedules across output blocks. As it relies only on first-step confidence signals, it does not require retraining, extra predictors, or weight updates. We evaluate CAI-DLLM on LLaDA-8B-Instruct and Dream-7B-Instruct across math, code, reasoning, commonsense, and long-context tasks. CAI-DLLM achieves up to 18.2x wall clock inference speedup on LLaDA GSM8K while improving accuracy from 76.27% to 77.41%, and up to 13.1x speedup on Dream HumanEval while achieving higher pass@1 than no-cache inference, 48.17% compared with 46.95%. On harder reasoning tasks, speedups reach 44.8x, with a largest accuracy drop of 4.4 points, while energy consumption is reduced by up to 95.3%.
访问论文
Access Paper