超越Token位置：扩散语言模型中跨去噪步骤的安全对齐

文章背景与核心概要

扩散大语言模型（dLLMs）通过迭代去噪的方式生成文本，这与传统的从左到右解码机制截然不同。本文深入研究了在这一新型范式下，安全对齐如何受到两个关键维度的影响：去噪过程中Token生成的时机（when）以及它们在响应中出现的位置（where）。通过追踪Token分布与确定决策，作者发现拒绝信号主要集中在早期的去噪步骤以及响应的前端位置。

基于上述发现，本文提出了一种名为“拒绝感知早期确定（Refusal-Aware Early Commitment, RAEC）”的无训练解码方法。该方法能够在保留模型通用性能的同时，有效降低针对LLaDA和Dream等模型的攻击成功率。这项研究为理解和提升扩散语言模型的安全性提供了全新的视角和工具。

论文概览 (Paper Overview)

• 作者: Guoli Wang, Haonan Shi, Tu Ouyang, An Wang
• 学科领域: 计算与语言 (cs.CL)；人工智能 (cs.AI)
• 会议/状态: 已被 EMNLP 2026 接收
• 提交时间: 2026年8月31日
• arXiv ID: arXiv:2609.00495
• 代码仓库: GitHub - Glresearch1/RAEC

摘要 (Abstract)

扩散大语言模型（dLLMs）通过迭代去噪而非从左到右的解码方式来生成文本。这种生成范式引入了两个可能影响安全对齐的维度：在去噪过程中Token是在什么时候生成的，以及它们出现在响应的什么位置。在本文中，我们通过追踪整个去噪过程中的中间Token分布和确定决策，评估了dLLM在有害提示下的安全行为。我们的分析表明，拒绝信号集中在早期的去噪步骤和响应的前端位置，并且早期确定的Token可以强有力地塑造最终的安全结果。我们的测量进一步表明，拒绝Token确定的去噪步骤和持久性对于理解dLLM的安全性至关重要。基于这些发现，我们提出了拒绝感知早期确定（RAEC）方法，这是一种简单的无训练解码方法，能够确定来自早期步骤的持久拒绝信号。在LLaDA和Dream模型上的实验表明，RAEC在很大程度上保留模型效用的同时，降低了攻击成功率。

Diffusion large language models (dLLMs) generate text through iterative denoising rather than left-to-right decoding. This generation paradigm introduces two axes that can influence safety alignment: when tokens are generated during denoising and where they appear in the response. In this paper, we measure dLLM safety behavior under harmful prompts by tracing intermediate token distributions and commitment decisions throughout denoising. Our analysis shows that refusal signals are concentrated in early denoising steps and leading response positions, and the tokens committed early can strongly shape the final safety outcome. Our measurements further show that the denoising step and persistence of refusal-token commitment are important for understanding dLLM safety. Based on these findings, we propose Refusal-Aware Early Commitment (RAEC), a simple training-free decoding method that commits persistent refusal signals from early steps. Experiments on LLaDA and Dream show that RAEC reduces attack success rates while largely preserving utility.