跳转至

EgoMonth：用于长期时空记忆的月度级第一人称视频基准

文章背景与核心概要

随着多模态大模型（MLLM）在视频理解领域的快速发展，现有的视频基准测试大多依赖于互联网上碎片化的短视频片段，缺乏真实世界中跨越数天甚至数周的时空连续性。这种局限性使得研究人员难以评估模型是否具备真正的长期记忆能力，即在长时间跨度内保持对生活经验的一致性认知。

为了解决这一问题，研究团队推出了 EgoMonth，这是首个针对月度级第一人称（Egocentric）视频理解的基准测试。该数据集包含 20 名参与者在 20 到 120 天内录制的超过 300 小时的第一人称生活视频，并配有 1,443 个精心设计的问答对。通过构建包含模式整合、情景索引和级联推理三个认知层级的评估框架，研究发现即使是 Gemini 2.5 Pro 等顶尖模型，在表现上也远逊于人类，仅能作为“有损摘要器”而非真正的长期记忆者。

📖 摘要

多模态大模型（MLLM）的最新进展推动了视频理解领域的长足进步，随之而来的是越来越多的长视频基准测试。然而，现有的基准测试主要依赖于缺乏片段间时空连续性的网络视频，这使得评估模型能否在数天或数周的真实世界体验中保持一致的记忆变得十分困难。

Recent advances in Multimodal Large Language Models (MLLMs) have led to substantial progress in video understanding, accompanied by a growing number of long video benchmarks. However, existing benchmarks rely predominantly on web-sourced videos that lack inter-clip spatiotemporal continuity, making it difficult to assess whether models can maintain consistent memory across days or weeks of real-world experience.

我们引入了 EgoMonth，这是首个月度级第一人称视频理解基准。EgoMonth 包含 20 名参与者在 20 到 120 天内录制的超过 300 小时的第一人称日常生活视频，并配有 1,443 个由人工编写的多项选择问答对。我们设计了一个基于认知科学的 14 项任务评估框架，分为三个层级：1. 模式整合 (Schema Consolidation)；2. 情景索引 (Episodic Indexing)；3. 级联推理 (Cascading Reasoning)。

We introduce EgoMonth, the first month-level egocentric video understanding benchmark. EgoMonth comprises over 300 hours of first-person daily-life recordings from 20 participants spanning 20 to 120 days, paired with 1,443 human-crafted multiple-choice question-answer pairs. We design a cognitively grounded 14-task evaluation framework organized into three hierarchical cognitive levels: 1. Schema Consolidation 2. Episodic Indexing 3. Cascading Reasoning

对当前最先进的开源和闭源 MLLM 的评估显示，表现最好的模型 Gemini 2.5 Pro 的宏平均准确率仅为 71.8%，比人类基准 94.2% 低了 22.4 个百分点。在“路径推理”、“跨视角空间推理”和“方向判断”等任务中，多个模型的表现接近或低于 25% 的随机猜测水平，即使是最强的闭源模型也远未达到人类水平。这些结果表明，当前的 MLLM 充其量是“有损摘要器”而非忠实的记忆者，凸显了开发具备真正长期时空记忆架构的必要性。

Evaluation of state-of-the-art open-source and closed-source MLLMs reveals that even the best-performing model, Gemini 2.5 Pro, achieves only 71.8% macro-average accuracy, remaining 22.4 percentage points below the corrected human baseline of 94.2%. Several models perform near or below the 25% chance level on tasks such as Route Reasoning, Cross-view Spatial Reasoning, and Direction Judgement, while even the strongest closed-source model remains substantially below human performance. These results indicate that current MLLMs function as lossy summarizers rather than faithful memorizers, highlighting the need for architectures with genuine long-term spatiotemporal memory.

🛠️ 数据集与评估框架

  • 视频容量： 超过 300 小时的第一人称日常生活视频数据。
  • 时长范围： 20 名参与者，每人 20 到 120 天的记录。
  • 标注： 1,443 个由人工编写的多项选择 QA 对。
  • 认知层级：
  • 模式整合 (Schema Consolidation)
  • 情景索引 (Episodic Indexing)
  • 级联推理 (Cascading Reasoning)
  • Video Volume: > 300 hours of first-person daily-life video data.
  • Duration Range: 20 to 120 days per participant across 20 participants.
  • Annotations: 1,443 human-crafted multiple-choice QA pairs.
  • Cognitive Hierarchy:
  • Schema Consolidation
  • Episodic Indexing
  • Cascading Reasoning

📊 关键发现与结果

  • 顶级模型表现： Gemini 2.5 Pro 的宏平均准确率为 71.8%。
  • 人类基准： 94.2%（与顶级 AI 系统之间存在 22.4% 的巨大差距）。
  • 薄弱环节： 模型在复杂的时空导航任务中表现显著不佳，经常跌至 25% 的随机猜测水平或以下，包括：
  • 路径推理 (Route Reasoning)
  • 跨视角空间推理 (Cross-view Spatial Reasoning)
  • 方向判断 (Direction Judgement)
  • Top Model Performance: Gemini 2.5 Pro achieved a macro-average accuracy of 71.8%.
  • Human Baseline: 94.2% (leaving a substantial 22.4% gap for top AI systems).
  • Weakest Areas: Models struggled significantly—often dropping near or below the 25% random chance baseline—on complex spatial-temporal navigation tasks including:
  • Route Reasoning
  • Cross-view Spatial Reasoning
  • Direction Judgement

🔗 快速链接与资源