跳转至

通过幻觉空间投影减少 Whisper 模型中的幻觉转录

文章背景与核心概要

OpenAI 的 Whisper 作为一款广泛使用的自动语音识别（ASR）基础模型，在处理几乎没有语音或没有语音的输入时，极易产生流利但属于“幻觉”的错误转录文本。为了在不重新训练模型的前提下解决这一问题，研究人员 Maryam Abbasihafshejani 和 Murtuza Jadliwala 提出了一种名为“幻觉空间投影”（Hallucination Space Projection）的免训练、推理阶段的方法。

该技术通过使用非语音校准数据估计一个紧凑的、与幻觉相关的子空间，在推理过程中将模型的解码器隐藏状态向该子空间的正交方向投影，从而实现大幅减少幻觉的效果。实验表明，该方法在显著抑制幻觉的同时，还能在语音识别性能之间保持可控的平衡。

摘要 (Abstract)

Whisper 是一款广泛使用的自动语音识别（ASR）基础模型，但其生成式解码器在面对包含极少或没有语音的输入时，会产生流利的幻觉转录。我们提出了一种免训练的推理期方法，通过对解码器激活值进行低秩投影来减少这些幻觉。我们从非语音校准数据中估计出一个紧凑的幻觉相关子空间，并在推理期间将解码器的隐藏状态从该子空间中投影出去。

我们评估了两种变体： 1. 全时开启（Always-on）： 将投影应用于所有输入。 2. 门控（Gated）： 仅在 Whisper 预测输入可能为非语音时才应用投影。

Whisper is a widely used foundation model for automatic speech recognition (ASR), but its generative decoder can produce fluent hallucinated transcripts for inputs containing little or no speech. We propose a training-free, inference-time method to reduce these hallucinations using low-rank projection of decoder activations. A compact hallucination-associated subspace is estimated from non-speech calibration data, and decoder hidden states are projected away from this subspace during inference.

We evaluate two variants: 1. Always-on: applies projection to all inputs. 2. Gated: applies projection only when Whisper predicts that an input is likely non-speech.

核心发现 (Key Findings)

  • 幻觉减少： 在非语音基准测试中，全时开启投影将平均幻觉率（HR）从 \(31.31\%\) 降至 \(2.44\%\)（相对减少了 \(92.21\%\)）。门控投影将幻觉率降至 \(3.74\%\)（相对减少了 \(88.05\%\)），同时对真实语音表现出更低的误拒率。
  • 对语音识别的影响（LibriSpeech）： 在不同的模型和数据集划分设置下，门控投影使绝对词错误率（WER）增加了 \(0.33\text{--}4.39\) 个百分点，并且误拒率（FRR）在 \(0.41\text{--}9.97\%\) 之间。
  • Hallucination Reduction: Across non-speech benchmarks, always-on projection reduces the average hallucination rate (HR) from \(31.31\%\) to \(2.44\%\) (a \(92.21\%\) relative reduction). Gated projection reduces the HR to \(3.74\%\) ( an \(88.05\%\) relative reduction) while exhibiting lower false rejection of genuine speech.
  • Impact on Speech Recognition (LibriSpeech): Gated projection increases absolute word error rate (WER) by \(0.33\text{--}4.39\) percentage points and yields false-rejection rates (FRR) of \(0.41\text{--}9.97\%\) across different model and split settings.

这些结果表明，低秩激活投影可以在无需重新训练的情况下大幅抑制 Whisper 的幻觉，从而在幻觉抑制与标准语音识别性能之间提供可控的权衡。

These results demonstrate that low-rank activation projection can substantially suppress Whisper hallucinations without retraining, offering a controllable trade-off between hallucination suppression and standard speech recognition performance.

论文元数据 (Paper Metadata)