跳转至

相同的注意力，不同的真相：结合 Logit-Lens 与视觉注意力来检测和缓解 LVLM 对象幻觉

文章背景与核心概要

大视觉语言模型（LVLMs）经常遭遇对象幻觉（Object Hallucination）问题，即模型会生成输入图像中完全不存在的对象描述。传统观点通常将这种失效归咎于视觉注意力不足。然而，本文揭示了一个令人意外的反直觉洞察：在模型的中后层中，真实对象和幻觉对象实际上获得了同样强烈的视觉注意力。

核心问题不在于模型关注了多少，而在于它关注了什么以及为什么。通过应用 Logit Lens 技术对高注意力区域的视觉特征进行解码，作者发现对应真实对象的区域能够正确解码为目标词元（tokens），而幻觉区域则不能。

为了解决这一问题，本文识别出了两种不同的幻觉机制，并提出了一种无需训练的框架（Detect-Mitigate），在多个基准测试中取得了最先进（SOTA）的成果。

主要发现与幻觉机制 (Key Findings & Hallucination Mechanisms)

作者将对象幻觉归纳为两种不同的成因：

The authors categorize object hallucinations into two distinct operational causes:

  1. 视觉不确定性 (Visual Uncertainty)： 由语义相似或易混淆的图像区域触发。模型难以处理这种模糊性，但只要简单地掩码（masking）这些特定区域，就能完全消除幻觉。

    1. Visual Uncertainty: Triggered by semantically similar or confusable image regions. The model struggles with ambiguity, but simply masking these specific regions completely eliminates the hallucination.

  2. 上下文先验 (Contextual Prior)： 由语言或训练数据中强烈的共现先验触发。即使最初被关注的区域被掩码，幻觉仍然会持续存在，因为模型的注意力会根据文本的期望主动漂移到无关的区域。

    1. Contextual Prior: Triggered by strong co-occurrence priors in language or training data. Even when the initially attended region is masked, the hallucination persists because model attention actively drifts to unrelated regions based on textual expectations.

提出的解决方案：Detect-Mitigate 框架 (The Proposed Solution: Detect-Mitigate Framework)

作者引入了一个简单但高度有效、无需训练（training-free）的框架，该框架由检测机制和针对性的补救措施组成：

The authors introduce a simple yet highly effective, training-free framework consisting of a detection mechanism and targeted remedies:

  • Logit-Lens 一致性检查（检测）： 在视觉注意力区域上使用 Logit Lens，以评估高注意力区域是否真正解码为预期的对象词元，并将不一致的情况标记为潜在幻觉。
  • 高注意力区域掩码（HARM）： 用于对抗视觉不确定性幻觉，通过主动掩码模糊或易混淆的图像区域来实现。
  • 视觉证据增强解码（VEED）： 用于对抗contextual prior（上下文先验）幻觉，通过强化真实的视觉证据来压制误导性的语言共现先验。
  • Logit-Lens Consistency Check (Detection): Uses the Logit Lens over visual attention regions to evaluate whether high-attention areas genuinely decode to the intended object tokens, flagging inconsistencies as potential hallucinations.
  • High-Attention Regions Masking (HARM): Applied to combat visual uncertainty hallucinations by actively masking ambiguous or confusable image regions.
  • Visual Evidence Enhanced Decoding (VEED): Applied to combat contextual prior hallucinations by reinforcing genuine visual evidence over misleading linguistic co-occurrence priors.

该方法在多个标准的 LVLM 幻觉基准测试中确立了最先进的性能（state-of-the-art performance）。

This methodology establishes state-of-the-art performance across multiple standard LVLM hallucination benchmarks.