跳转至

基于扩散大语言模型的视觉语音识别

文章背景与核心概要

传统的视觉语音识别（VSR）系统通常依赖于从左到右的自回归解码，这在获取到足够上下文之前，容易对视觉上具有歧义的语音Token做出过早且错误的决策。为了克服这一局限性，研究人员提出了 DLLM-VSR，这是首个由扩散大语言模型（DLLM）驱动的视觉语音识别框架。

与传统的顺序解码不同，DLLM-VSR 将转录过程构想为一个带有灵活顺序解码的迭代式掩码去噪过程。通过利用基于置信度的去掩码机制，该模型能够尽早确定高置信度的Token，并将其作为双向上下文来解析有歧义的Token。此外，本文引入了一种两阶段的掩码去噪训练策略，通过将视觉到文本的对齐与长度建模相分离，有效地将 DLLM 适配到 VSR 任务中，并配合长度引导的候选解码来缩小性能差距。该框架仅使用带标签的 LRS3 训练数据，就在 LRS3 数据集上实现了 19.4% 的最先进（SOTA）词错误率（WER）。

摘要 (Abstract)

Existing Visual Speech Recognition (VSR) systems commonly rely on left-to-right autoregressive decoding, which can force premature decisions on visually ambiguous tokens before sufficient context is available. We propose DLLM-VSR, to the best of our knowledge, the first Diffusion Large Language Model (DLLM)-based VSR framework, formulating transcription as iterative masked denoising with flexible-order decoding. With confidence-based unmasking, DLLM-VSR commits high-confidence positions early and uses the committed tokens as bidirectional context to refine ambiguous ones. To adapt DLLMs to VSR, we introduce a two-stage masked-denoising training strategy that separates visual-to-text content alignment from length modeling. We further observe a performance gap compared with an upper-bound setting where the ground-truth transcript length is provided at inference, allowing the model to focus on transcript content decoding. To reduce this gap, we develop length-guided candidate decoding, which uses video duration to construct plausible transcript-length hypotheses and reranks the decoded candidates using length plausibility and decoding confidence. The proposed method achieves a 19.4% word error rate on LRS3, establishing state-of-the-art performance among methods using only LRS3 as labeled training data.

现有视觉语音识别（VSR）系统通常依赖于从左到右的自回归解码，这在获得充足上下文之前，往往会迫使模型对视觉上有歧义的 Token 做出过早的决策。据我们所知，我们提出了 DLLM-VSR，这是首个基于扩散大语言模型（DLLM）的 VSR 框架，它将转录过程构想为具有灵活顺序解码的迭代式掩码去噪。凭借基于置信度的去掩码机制，DLLM-VSR 能够尽早确定高置信度的位置，并利用这些已确定的 Token 作为双向上下文来精修有歧义的 Token。为了将 DLLM 适配到 VSR 任务，我们引入了一种两阶段掩码去噪训练策略，将视觉到文本的内容对齐与长度建模相分离。我们进一步发现，相比于在推理时提供真实转录文本长度（使模型能够专注于转录内容解码）的上限设置，当前方法仍存在性能差距。为了缩小这一差距，我们开发了长度引导的候选解码，利用视频时长构建合理的转录长度假设，并使用长度合理性与解码置信度对解码出的候选结果进行重新排序。所提出的方法在 LRS3 上实现了 19.4% 的词错误率，在仅使用 LRS3 作为带标签训练数据的方法中创下了最新的性能纪录。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2605.28456
  • 研究领域: 人工智能 (cs.AI)；计算机视觉与模式识别 (cs.CV)；音频与语音处理 (eess.AS)
  • 会议收录: 已被 EMNLP 2026 接受
  • 提交日期: 2026年5月27日（最近修订：2026年9月1日）
  • 代码仓库: GitHub - DLLM-VSR

作者 (Authors)

  • Jeong Hun Yeo
  • Chae Won Kim
  • Hyeongseop Rha
  • Yong Man Ro