跳转至

超越视觉所见：揭示多模态大语言模型的情境错觉

文章背景与核心概要

在真实世界环境中，一个情境的视觉表象往往与其底层的物理现实存在偏差，这对多模态大语言模型（MLLMs）在实际应用中的可靠性提出了严峻挑战。本文首次引入并深入探讨了“情境错觉”（situational illusions）这一概念，主要从模型性能评估和缓解策略开发两个维度展开研究。

为了应对这一挑战，作者团队主要取得了以下成果：首先，建立了一个全面的“哪里-是什么-怎么发生的”（where-what-how）分类体系，用于系统性地对这些情境错觉进行分类；其次，推出了专用基准测试 MSIBench，用于评估 MLLMs 在具有欺骗性条件下的辨别、理解和推理能力（共评估了 27 种模型配置，并揭示了 6 种典型的失效模式）；最后，提出了针对性的缓解策略——针对闭源模型的提示词工程（Prompting）以及针对开源模型的监督微调（Supervised Fine-tuning），这两种方法最多可将模型性能提升 20%。

📌 文章元数据 (Article Metadata)

  • arXiv ID: arXiv:2608.22232 [cs.AI]
  • 学科分类: 人工智能 (cs.AI); 计算与语言 (cs.CL); 计算机视觉与模式识别 (cs.CV); 多媒体 (cs.MM)
  • 提交日期: 2026年8月23日
  • 作者: Zhiming Yang, Zhuoxi Xiong, Donglin Zhou, Wenjun Wei, Shiyao Cui, Jinqiao Shi
  • arXiv ID: arXiv:2608.22232 [cs.AI]
  • Subject Categories: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Multimedia (cs.MM)
  • Submission Date: August 23, 2026
  • Authors: Zhiming Yang, Zhuoxi Xiong, Donglin Zhou, Wenjun Wei, Shiyao Cui, Jinqiao Shi

👥 作者 (Authors)

  • Zhiming Yang
  • Zhuoxi Xiong
  • Donglin Zhou
  • Wenjun Wei
  • Shiyao Cui
  • Jinqiao Shi
  • Zhiming Yang
  • Zhuoxi Xiong
  • Donglin Zhou
  • Wenjun Wei
  • Shiyao Cui
  • Jinqiao Shi

📝 摘要 (Abstract)

真实世界中的情境表象往往与其潜在的物理状态存在偏差，这对多模态大语言模型（MLLMs）在实际应用中的可靠性构成了挑战。在本文中，我们将这种现象称为“情境错觉”（situational illusions），并探讨了：（1）MLLMs 在此类错觉下的表现如何，以及（2）如何减轻这些局限性。我们首先开发了一个全面的“哪里-是什么-怎么发生的”（where-what-how）分类体系，该体系表征了情境错觉发生的位置、针对的目标以及产生的方式。在此分类体系的基础上，我们推出了 MSIBench，这是一个旨在评估 MLLMs 在情境错觉下的辨别、理解和推理能力的基准测试。对 27 种模型配置的评估表明，当前的 MLLMs 对这些错觉高度脆弱，并表现出 6 种与视觉观测、定位和推理相关的典型失效模式。为了缓解这些局限性，我们基于对上下文理解的视觉证据进行系统性检查和推理的核心思想，分别开发了针对闭源模型的提示词技术和针对开源模型的监督微调方法。这两种简单而有效的方法将模型性能最多提升了 20%，为在复杂现实世界环境中实现更可靠的多模态感知和推理开辟了一条切实可行的途径。

Real-world situation appearances can deviate from their underlying physical states, challenging the reliability of multimodal large language models (MLLMs) in practical applications. In this paper, we term this phenomenon situational illusions and investigate: (1) how MLLMs perform under such illusions, and (2) how to mitigate the limitations. We first develop a comprehensive where-what-how taxonomy that characterizes where situational illusions occur, what targets they take, and how they arise. Building on this taxonomy, we introduce MSIBench, a benchmark designed to assess the discrimination, understanding, and reasoning capabilities of MLLMs under situational illusions. Evaluations of 27 model configurations reveal that current MLLMs are highly vulnerable to these illusions and exhibit 6 typical failure modes related to visual observation, grounding, and reasoning. To mitigate the limitations, we build on the core idea of systematically inspecting and reasoning over visual evidence for contextual understanding, developing prompting for closed-source models and supervised fine-tuning for open-source models, respectively. These two simple yet effective methods improve model performances by 20% at most, suggesting a practical path toward more reliable multimodal perception and reasoning in complex real-world environments.

🔗 全文与资源 (Full-Text & Resources)