跳转至

文章背景与核心概要

自动分析数小时长的第一视角视频（Egocentric Video）对于物流、建筑和制造领域的进度监控、质量控制以及安全保障至关重要。然而，现有的使用视觉语言模型（VLMs）处理短而固定大小视频窗口的流水线面临着一个主要瓶颈：计算成本与模型调用次数直接成正比。

为了克服这一难题，“解码前声学分诊”（Pre-Decoding Acoustic Triage）引入了一种音频优先的选择策略。该方法在解码任何视频帧之前，首先对最轻量的模态（音频）进行评估，通过对视频窗口进行打分来决定哪些窗口值得调用VLM。通过将目标从逐帧的声音事件检测器转变为每次动作触发一次，该方法在不需要领域特定声音事件标签的情况下，显著提高了动作覆盖率。

解码前声学分诊：面向预算限制下未剪辑第一视角视频的视觉语言描述生成

Pre-Decoding Acoustic Triage for Budgeted Vision-Language Captioning of Untrimmed Egocentric Video

作者： Masoud Jalayer, Changyi Li, Yu Xiao
提交时间： 2026年8月23日 (arXiv:2608.22359 [cs.CV])
链接： 查看PDF | HTML版本 | GitHub仓库

📌 执行摘要

📌 Executive Summary

自动分析数小时长的第一视角视频对于物流、建筑和制造领域的进度监控、质量控制以及安全保障至关重要。然而，现有的使用视觉语言模型（VLMs）处理短而固定大小视频窗口的流水线面临着一个主要瓶颈：计算成本与模型调用次数直接成正比。

Automatically analyzing hours-long egocentric video is critical for progress monitoring, quality control, and safety across logistics, construction, and manufacturing. However, existing pipelines that process short, fixed-size video windows using Vision-Language Models (VLMs) face a major bottleneck: computational costs scale directly with the number of model calls.

为了克服这一难题，“解码前声学分诊”引入了一种音频优先的选择策略。该方法在解码任何视频帧之前，首先对最轻量的模态（音频）进行评估，通过对视频窗口进行打分来决定哪些窗口值得调用VLM。通过将目标从逐帧的声音事件检测器转变为每次动作触发一次，该方法在不需要领域特定声音事件标签的情况下，显著提高了动作覆盖率。

To overcome this, Pre-Decoding Acoustic Triage introduces an audio-first selection policy. By evaluating the lightest modality (audio) before any video frames are decoded, the method scores windows to determine which ones merit a VLM invocation. Shifting the objective from a per-frame sound-event detector to triggering once per action significantly improves action coverage without requiring domain-specific sound-event labels.

🔍 核心亮点与发现

🔍 Key Highlights & Findings

  • 音频优先分诊： 在视频解码前，利用冻结的 AudioSet 预训练特征对视频窗口进行评分，从而能够与标记压缩（token compression）和量化无缝结合。
  • Audio-First Triage: Scores video windows using frozen AudioSet-pretrained features prior to video decoding, allowing seamless composition with token compression and quantization.
  • 目标转变： 训练选择器以实现每次动作触发一次，而不是使用逐帧的声音事件检测器。
  • Objective Shift: Trains the selector to trigger once per action rather than using a per-frame sound-event detector.
  • 提升动作覆盖率： 在所有评估的调用率下，动作覆盖率实现了 4.0 到 10.8 个百分点的提升。
  • Improved Action Coverage: Achieves a 4.0 to 10.8 percentage point increase in action coverage across all evaluated call rates.
  • 效率与性能：
  • 在 EPIC-KITCHENS-100 (EK-100) 上以匹配的覆盖率减少了 9–20% 的VLM调用，同时使用的调用次数不到可用总数的一半。
  • 在 Ego4D（超过 247 个剪辑）的中档表现上优于均匀采样。
  • 胜过最近提出的两个视觉关键帧选择器。
  • Efficiency & Performance:
    • Cuts 9–20% of VLM calls at matched coverage on EPIC-KITCHENS-100 (EK-100) while using fewer than half of the available calls.
    • Outperforms uniform sampling through the mid-range on Ego4D (over 247 clips).
    • Surpasses two recent visual keyframe selectors.

🛠️ 元数据与分类

🛠️ Metadata & Classification

  • 主要主题： 计算机视觉与模式识别 (cs.CV)
  • Primary Subject: Computer Vision and Pattern Recognition (cs.CV)
  • 次要主题： 人工智能 (cs.AI)；声音 (cs.SD)
  • Secondary Subjects: Artificial Intelligence (cs.AI); Sound (cs.SD)
  • ACM 类别： I.2.10; H.5.5; I.5.4
  • ACM Classes: I.2.10; H.5.5; I.5.4
  • 状态： 正在 IEEE BigData 2026（工业与政府分会场）审稿中
  • Status: Under review at IEEE BigData 2026 (Industrial and Government Track)