跳转至

文章背景与核心概要

扩散语言模型（DLMs）在生成文本时，通常会遇到严重的计算冗余问题，因为即使许多Token已经趋于稳定，模型仍会继续进行块级（blockwise）解码。为了解决这一痛点，本文介绍了 CORA-Diff（Confidence-Oriented Residual Acceptance，置信度导向残差接受机制），这是一种新颖且无需训练的推理加速方法，能够通过提前识别并“接受”稳定的Token来加速DLM的推理过程。

该方法巧妙地利用了原生轨迹信号（特别是置信度和持久性），对尚未解析的位置进行计算门控。它无需修改模型的主干架构、学习型接受模型或进行Logit调整，即可在保持任务质量的同时大幅缩短运行时间。在受控环境中，CORA-Diff实现了高达 13.14 倍的加速，在 GSM8K 和 HumanEval 等标准基准测试上也取得了 2.70 倍至 3.53 倍的加速效果。

CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference

CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference

Authors: Yifan Wu, Yufeng Zhang, Kenli Li
Date: July 31, 2026
arXiv: 2608.11235

Authors: Yifan Wu, Yufeng Zhang, Kenli Li
Date: July 31, 2026
arXiv: 2608.11235

Summary

Summary

扩散语言模型（DLMs）通常由于在许多Token已经稳定后仍继续进行块级解码而遭受计算冗余的困扰。CORA-Diff（Confidence-Oriented Residual Acceptance，置信度导向残差接受机制）是一种新颖的、无需训练的推理方法，旨在通过提前识别并“接受”稳定的Token来加速DLM。通过利用原生的轨迹信号——具体为置信度和持久性——该方法对未解析的位置进行计算门控，而无需修改模型主干、学习型接受模型或Logit调整。CORA-Diff在保持任务质量的同时显著减少了运行时间，在受控环境中实现了高达13.14倍的加速，在GSM8K和HumanEval等标准基准测试上实现了2.70倍至3.53倍的加速。

Diffusion Language Models (DLMs) typically suffer from redundant computation because they continue blockwise decoding even after many tokens have already stabilized. CORA-Diff (Confidence-Oriented Residual Acceptance) is a novel, training-free inference method designed to accelerate DLMs by identifying and "accepting" stable tokens early. By leveraging native trajectory signals—specifically confidence and persistence—the method gates computation for unresolved positions without requiring modifications to the model backbone, learned acceptance models, or logit adjustments. CORA-Diff significantly reduces runtime while maintaining task quality, achieving speedups of up to 13.14x in controlled environments and 2.70x–3.53x on standard benchmarks like GSM8K and HumanEval.

Key Features

Key Features

  • 无需训练： 无需额外训练或复杂的依赖模型即可运行。
  • 原生信号利用： 使用固有的轨迹信号来识别Token何时可能与最终的密集端点相匹配。
  • 高效性： 一旦所有位置都得到解析，立即终止块级解码，大大减少重复的密集前向传播。
  • 兼容性： 无需对底层模型架构进行任何更改。
  • Training-Free: Operates without the need for additional training or complex dependency models.
  • Native Signal Utilization: Uses inherent trajectory signals to identify when a token is likely to match the final dense endpoint.
  • Efficiency: Terminates blockwise decoding as soon as all positions are resolved, drastically reducing repeated dense forward passes.
  • Compatibility: Requires no changes to the underlying model architecture.

Performance Highlights

Performance Highlights

  • 运行效率： 在LLaDA协议下的所有八个测试任务长度设置中，测得的运行时间最短。
  • 质量保持： 在大多数设置下，任务得分与标准密集解码相匹配或超出，观察到的最大性能下降仅为1.22个点。
  • 基准测试结果：
    • 在 GSM8K 上实现 2.70倍加速。
    • 在 HumanEval 上实现 3.32倍加速。
    • 在固定视野 1024/1024 机制隔离协议下实现 13.14倍加速。
    • 在无需重新调优的情况下，在 Dream 数据集上实现 3.18倍–3.53倍加速。
  • Runtime Efficiency: Lowest measured runtime across all eight tested task-length settings under the LLaDA protocol.
  • Quality Preservation: Task scores match or exceed standard dense decoding in most settings, with a maximum observed performance drop of only 1.22 points.
  • Benchmark Results:
    • 2.70x speedup on GSM8K.
    • 3.32x speedup on HumanEval.
    • 13.14x speedup under the fixed-horizon 1024/1024 mechanism-isolation protocol.
    • 3.18x–3.53x speedup on the Dream dataset without retuning.

Access & Resources

Access & Resources

license icon