跳转至

文章背景与核心概要

尽管视觉-语言模型（VLMs）在静态图像和视频基准测试中表现出令人瞩目的性能，但它们真正理解时间结构的能力仍然存疑。本文介绍了 TimeCatch，这是一个受控的评估框架，旨在测试模型检测时间异常的能力。

通过将帧级异常检测（例如噪声）与时间异常检测（例如交换连续帧）进行对比，作者揭示了一个显著的性能差距：虽然 VLM 在识别静态帧错误方面表现出色，但在对时间一致性进行推理时却表现挣扎，其表现与人类相比接近随机猜测水平。

有什么玄机？评估视觉-语言模型中的时间一致性 (What's the Catch? Evaluating Temporal Consistency in Vision-Language Models)

作者： Marek Hradil, Danae Sánchez Villegas
日期： 2026年8月24日
学科： 计算与语言 (cs.CL)；人工智能 (cs.AI)；计算机视觉与模式识别 (cs.CV)
标识符： arXiv:2608.23474

摘要 (Summary)

While Vision-Language Models (VLMs) demonstrate impressive performance on static image and video benchmarks, their ability to truly understand temporal structure remains questionable. This paper introduces TimeCatch, a controlled evaluation framework designed to test whether models can detect temporal anomalies. By comparing frame-level anomaly detection (e.g., noise) with temporal anomaly detection (e.g., swapping consecutive frames), the authors reveal a significant performance gap: while VLMs excel at identifying static frame errors, they struggle to reason about temporal consistency, performing near chance levels compared to human performance.

尽管视觉-语言模型（VLMs）在静态图像和视频基准测试中表现出令人瞩目的性能，但它们真正理解时间结构的能力仍然存疑。本文介绍了 TimeCatch，这是一个受控的评估框架，旨在测试模型检测时间异常的能力。通过将帧级异常检测（例如噪声）与时间异常检测（例如交换连续帧）进行对比，作者揭示了一个显著的性能差距：虽然 VLM 在识别静态帧错误方面表现出色，但在对时间一致性进行推理时却表现挣扎，其表现与人类相比接近随机猜测水平。

研究概述 (Research Overview)

问题：时间盲区 (The Problem: Temporal Blindness)

Current VLMs are often praised for their video-processing capabilities, yet it is unclear if they are actually capturing the "flow" of time or simply relying on spatial features within individual frames. The authors hypothesize that these models lack the necessary grounding to understand temporal sequences.

当前的 VLM 经常因其视频处理能力而受到称赞，但目前尚不清楚它们实际上是在捕捉时间的“流动”，还是仅仅依赖于单帧内的空间特征。作者假设这些模型缺乏理解时间序列所需的基础支撑。

方法论：TimeCatch 框架 (Methodology: The TimeCatch Framework)

To test this, the researchers formulated temporal grounding as an anomaly detection problem: * Frame-level anomalies: Replacing a frame with Gaussian noise to test basic perception. * Temporal anomalies: Swapping consecutive frames to test the model's sensitivity to the sequence of events. * Evaluation: The models were tested across four synthetic and real-world datasets, with results benchmarked against a human study.

为了测试这一点，研究人员将时间基础支撑（temporal grounding）表述为一个异常检测问题： * 帧级异常： 用高斯噪声替换某一帧以测试基本感知能力。 * 时间异常： 交换连续帧以测试模型对事件顺序的敏感性。 * 评估： 该模型在四个合成数据集和真实世界数据集上进行了测试，并将结果与人类研究进行了基准对比。

核心发现 (Key Findings)

  • The Performance Gap: VLMs consistently detect frame-level anomalies and localize them with high accuracy. However, they perform near chance on temporal anomaly detection and only marginally better on temporal localization.
  • Human Baseline: In contrast, human participants achieved near-ceiling performance on both tasks, highlighting a fundamental difference in how humans and current VLMs process video.
  • Robustness Analysis: The study analyzed various factors—including model scale, prompting strategies, sequence lengths, and visual similarity—finding that these failures are not merely due to limited model capacity or perception, but rather a deeper inability to integrate information across frames for temporal reasoning.
  • 性能差距： VLM 能够持续检测帧级异常并以高准确率对其进行定位。然而，它们在时间异常检测上的表现接近随机水平，在时间定位上也仅略好于随机水平。
  • 人类基线： 相比之下，人类参与者在两项任务上都达到了接近天花板的性能，这凸显了人类与当前 VLM 处理视频方式的根本区别。
  • 鲁棒性分析： 该研究分析了各种因素——包括模型规模、提示词策略、序列长度和视觉相似性——发现这些失败不仅仅是因为模型容量或感知能力有限，而是由于其在跨帧整合信息以进行时间推理方面存在更深层次的不足。

访问与资源 (Access & Resources)

license icon