跳转至

陷阱何在？评估视觉-语言模型的时间一致性

文章背景与核心概要

视觉-语言模型（VLMs）在视频和图像序列基准测试中表现出色，但它们是否真正理解了时间结构仍存疑。为了深入探讨这一问题，研究人员将时间基础（temporal grounding）建模为异常检测问题，并提出了名为 TimeCatch 的基准测试。该基准通过引入受控的时间异常（交换连续帧）和帧级异常（用高斯噪声替换帧）来评估模型的敏感度。

研究通过合成数据集、真实世界数据集以及人类对照实验发现，VLMs 在处理这两类异常时存在显著的性能差距：模型能够轻松检测并定位帧级异常，但在处理时间一致性异常时，其表现几乎等同于随机猜测。进一步分析排除了感知能力或模型规模限制的影响，证明了当前 VLMs 在整合跨帧信息以进行时间逻辑推理方面存在根本性缺陷。

论文元数据

  • arXiv ID: arXiv:2608.23474 [cs.CL]
  • 作者: Marek Hradil, Danae Sánchez Villegas
  • 主要学科: 计算与语言 (cs.CL)
  • 次要学科: 人工智能 (cs.AI), 计算机视觉与模式识别 (cs.CV)
  • 提交日期: 2026年8月24日
  • 最后修订: 2026年8月25日 (v2)
  • 许可协议: 知识共享署名 4.0 license icon

摘要

视觉-语言模型（VLMs）在视频和图像序列基准测试中取得了优异的成绩，但目前尚不清楚它们是否真正捕捉到了时间结构。为了研究这一问题，我们将时间基础建模为异常检测问题，提供了一种简单且受控的评估方法，直接测试模型对时间一致性的敏感度。我们引入了 TimeCatch 基准，通过交换连续帧来创建时间异常，并通过用高斯噪声替换帧来创建帧级异常。

我们在四个合成和真实世界数据集上对模型进行了异常检测和定位任务的评估，并进行了人类对照研究。评估结果揭示了帧级异常检测与时间异常检测之间存在巨大差距。虽然 VLMs 能持续检测到帧级异常并通常能准确地定位它们，但在时间异常检测任务上，它们的表现接近随机水平，在定位任务上也仅略高于随机水平。相比之下，人类在两项任务中均达到了近乎完美的表现。

通过对模型规模、提示策略、序列长度和视觉相似度进行额外分析，结果表明这些失败不能仅仅归因于感知或模型容量的限制。总之，这些发现表明，当前的 VLMs 能够识别单个帧内的异常，但在整合跨帧信息以推理时间一致性方面表现吃力。TimeCatch 为评估视觉-语言模型中的时间基础提供了一个受控的基准。

Vision-language models (VLMs) achieve strong performance on video and image-sequence benchmarks, yet it remains unclear whether they capture temporal structure. To study this question, we formulate temporal grounding as an anomaly detection problem, providing a simple and controlled evaluation that directly tests sensitivity to temporal consistency. We introduce TimeCatch, where temporal anomalies are created by swapping consecutive frames and frame-level anomalies by replacing a frame with Gaussian noise.

Models are evaluated on anomaly detection and localization tasks across four synthetic and real-world datasets, alongside a human study. Our evaluation reveals a substantial gap between frame-level and temporal anomaly detection. While VLMs consistently detect frame-level anomalies and often localize them accurately, they perform near chance on temporal anomaly detection and only modestly above chance on localization. Humans, in contrast, achieve near-ceiling performance on both tasks.

Additional analyses across model scales, prompting strategies, sequence lengths, and visual similarity suggest that these failures cannot be explained solely by limitations in perception or model capacity. Together, these findings indicate that current VLMs can identify anomalies within individual frames but struggle to integrate information across frames to reason about temporal consistency. TimeCatch provides a controlled benchmark for evaluating temporal grounding in vision-language models.

获取资源