跳转至

视觉语言模型中思维链忠实度的反事实测试评估

文章背景与核心概要

随着视觉语言模型（VLM）的广泛应用，其生成的思维链（CoT）推理过程虽然表面上看起来合乎逻辑，但它们是否真正忠实于模型的实际决策机制一直备受质疑。尽管文本领域的模型忠实度评估方法正在不断发展，但将其扩展到视觉输入仍然面临巨大挑战。本文入选 EMNLP 2026 Findings，首次将文本领域的反事实方法适配至视觉模态，并引入了视觉反事实测试（vCT）和视觉相关性反事实测试（vCCT），用于系统评估 VLM 推理过程的忠实度。

研究人员在两个全新构建的单目标差异数据集（Counter-SNLI-VE 和 Counter-A-OKVQA）上对八个最新的开源 VLM 进行了基准测试。结果揭示了当前 VLM 推理中的关键缺陷：模型的解释往往无法可靠地追踪底层的视觉证据。例如，即使移除某个物体会导致模型预测发生剧烈变化，模型也可能在思维链中完全忽略该物体；反之亦然。这项研究不仅为衡量多模态模型的可解释性提供了严谨的量化工具，也指出了未来多模态推理架构改进的方向。

📋 总结

本研究论文已被 EMNLP 2026 Findings 录用。文章旨在探究视觉语言模型（VLMs）所生成的思维链（Chain-of-Thought, CoT）推理过程，是否真正忠实于其实际的决策机制。为了进行评估，作者将文本领域的反事实方法调整并应用到视觉输入中，推出了 vCT（Visual Counterfactual Test，视觉反事实测试）和 vCCT（Visual Correlational Counterfactual Test，视觉相关性反事实测试）。通过对八个最新的开源 VLM 进行测试，并基于两个新构建的单目标差异数据集（Counter-SNLI-VE 和 Counter-A-OKVQA）展开分析，研究揭示了当前 VLM 推理中的严重缺陷，证明了模型的解释往往无法可靠地追踪实际的视觉证据。

This research paper—accepted to Findings of EMNLP 2026—investigates whether the Chain-of-Thought (CoT) reasoning generated by Visual Language Models (VLMs) is truly faithful to their actual decision-making processes. To evaluate this, the authors adapt counterfactual methods from textual domains to visual inputs, introducing vCT (Visual Counterfactual Test) and vCCT (Visual Correlational Counterfactual Test). Testing eight recent open-source VLMs on two newly constructed single-object-difference datasets (Counter-SNLI-VE and Counter-A-OKVQA), the study reveals critical flaws in current VLM reasoning, showing that model explanations frequently fail to reliably track underlying visual evidence.

👥 作者

  • Bayar Menzat
  • Maximilian Süss
  • Ruizhi Wang
  • Benno Steinegger
  • Thomas Lukasiewicz
  • Oana-Maria Camburu

👥 Authors

  • Bayar Menzat
  • Maximilian Süss
  • Ruizhi Wang
  • Benno Steinegger
  • Thomas Lukasiewicz
  • Oana-Maria Camburu

📄 元数据与发表详情

  • arXiv ID: arXiv:2609.06704 [cs.CV]
  • 主要学科: 计算机视觉与模式识别 (cs.CV)
  • 次要学科: 人工智能 (cs.AI)、计算与语言 (cs.CL)
  • 会议收录: 已被 Findings of the Association for Computational Linguistics: EMNLP 2026 录用
  • 提交日期: 2026年9月6日

📄 Metadata & Publication Details

  • arXiv ID: arXiv:2609.06704 [cs.CV]
  • Primary Subject: Computer Vision and Pattern Recognition (cs.CV)
  • Secondary Subjects: Artificial Intelligence (cs.AI), Computation and Language (cs.CL)
  • Conference: Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026
  • Submission Date: September 6, 2026

🔍 摘要与核心发现

思维链（CoT）推理虽然常常看起来很合理，但它往往无法忠实地反映模型的真实决策机制。尽管针对文本输入的忠实度指标正在不断扩展，但将其推广到视觉输入依然充满挑战。

While Chain-of-Thought (CoT) reasoning often appears plausible, it frequently fails to faithfully reflect a model's true decision-making mechanism. Although faithfulness metrics for textual inputs are expanding, extending them to visual inputs remains challenging.

核心贡献与洞察：

  1. 视觉反事实方法（vCT 和 vCCT）： 作者调整了反事实测试（CT）和相关性反事实测试（CCT），使其能够处理视觉模态。
  2. 模型基准测试： 在两个评估数据集上对八个最新的开源视觉语言模型（VLM）进行了全面评估。
  3. 忠实度缺陷： 分析证明，VLM 的 CoT 无法可靠地追踪直接影响模型预测的视觉证据：
  4. 即使某个被移除的物体会导致模型的预测发生剧烈变化，模型也可能会在解释中完全忽略它。
  5. 相反，即使移除某个物体只会引起微乎其微的预测变化，模型也可能会在解释中明确提及它。
  6. 解释策略： “先预测后解释”（Predict-then-Explain）推理框架比前置回答的 CoT 方法更加契合由扰动引起的概率变化，而二元的 vCT 得分通常接近饱和。
  7. 重建控制： 重建控制实验（将图像通过未经物体移除的相同编辑流程）证实，针对性的物体干预所引起的预测变化，远远大于重建伪影本身所带来的影响。
  8. 全新数据集： 作者构建并发布了两个全新的基准数据集，包含由单个物体差异构成的图像对：
  9. Counter-SNLI-VE
  10. Counter-A-OKVQA

Core Contributions & Insights:

  1. Visual Counterfactual Methods (vCT and vCCT): The authors adapt the Counterfactual Test (CT) and Correlational Counterfactual Test (CCT) to handle visual modalities.
  2. Model Benchmarking: Evaluated eight recent open-source Vision Language Models (VLMs) across two evaluation datasets.
  3. Faithfulness Flaws: The analysis proves that VLM CoTs do not reliably track visual evidence that directly influences model predictions:
  4. Models may completely omit a removed object even when its removal drastically shifts predictions.
  5. Conversely, models may explicitly mention an object even when its removal triggers negligible prediction shifts.
  6. Explanation Strategies: "Predict-then-Explain" reasoning frameworks align more closely with perturbation-induced probability shifts than pre-answer CoT methods, while binary vCT scores are often near saturation.
  7. Reconstruction Controls: A reconstruction control experiment (passing images through identical editing pipelines without object removal) confirmed that targeted object interventions drive substantially larger shifts than reconstruction artifacts alone.
  8. New Datasets: The authors constructed and released two brand-new benchmark datasets consisting of image pairs differing by a single object:
  9. Counter-SNLI-VE
  10. Counter-A-OKVQA

🔗 链接与资源