跳转至

Ambient @ EgoProactive 2026：基于视觉定位监督的主动式第一视角穿戴式助手

Ambient @ EgoProactive 2026: Proactive Egocentric Assistance with Visually Grounded Supervision

license icon

arXiv:2609.07099 [cs.CV]
Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI)
Authors: Logesh Kumar Umapathi
Submitted: 7 Sep 2026; Last revised: 10 Sep 2026 (v2)
DOI / Paper: 10.48550/arXiv.2609.07099

文章背景与核心概要

随着智能眼镜等第一视角可穿戴设备的兴起，AI 助手面临着一个极为棘手的人机交互难题：如何在佩戴者需要帮助时主动介入，而在无需干扰时保持安静。过于频繁的打扰会严重损害用户体验，而迟钝的响应又会失去辅助价值。

本文介绍了 ECCV 2026 可穿戴 AI 大挑战赛 (ECCV 2026 Wearable AI Grand Challenge) EgoProactive 赛道的夺冠方案 Ambient。该方案一举斩获大模型组冠军与 \(\le 2\text{B}\) 参数轻量模型组亚军。研究团队将复杂的自由文本干预决策精简为极简的“单 Token 分类” (Single-Token Classification) ；并通过调用专业视频智能体进行高精度的时间戳定位监督，雄辩地证明了在可穿戴主动交互领域，“精准的视觉定位 (Visual Grounding) 远比盲目堆砌标注规模更为有效”。

概述

Summary

本文介绍了斩获 ECCV 2026 可穿戴 AI 大挑战赛 EgoProactive 赛道 冠军的技术方案，该方案在 大模型组斩获第 1 名 ，在 \(\le 2\text{B}\) 参数组位列第 2 名 。这项研究直面可穿戴 AI 领域的核心痛点：如何让佩戴在身上的智能助手在连续分析 8 秒第一视角视频片段后，自主且准确地判断究竟是该主动介入提供帮助，还是继续保持静默。

This paper presents the winning technical solution for the EgoProactive track of the ECCV 2026 Wearable AI Grand Challenge, ranking 1st in the large-model division and 2nd in the \(\le 2\text{B}\) division. The research addresses the challenge of enabling a wearable assistant to determine whether to intervene or remain silent after analyzing eight-second segments of egocentric video.

该方案主要包含两项核心技术创新： 1. 单 Token 分类： 彻底重构了介入时机的判断逻辑，不再依赖传统的开放式自由文本生成，而是直接预测简洁的 "yes" 或 "no" 单 Token ，使 Macro-F1 和 G-mean 评估指标获得了大幅跃升。 2. 基于视觉定位的监督： 巧妙借助具备工具调用能力的视频智能体 (AI Agent) 来生成精准可靠的监督时间戳，充分证明对于该任务而言，高精度的视觉定位 (Visual Grounding) 质量远比单纯堆积标注数据量要关键得多。

The approach introduces two key innovations: 1. Single-Token Classification: Reformulating intervention timing by predicting simple "yes" or "no" tokens rather than relying on free-form generation, yielding significant improvements in macro-F1 and G-mean. 2. Visually Grounded Supervision: Leveraging a tool-calling video agent to generate reliable supervision timestamps, demonstrating that visual grounding is far more critical for task performance than annotation volume alone.

文档元数据

Document Metadata

字段 (Field) 详情 (Details)
arXiv 标识符 arXiv:2609.07099 [cs.CV]
作者 Logesh Kumar Umapathi
主要学科 计算机视觉与模式识别 (cs.CV)
次要学科 人工智能 (cs.AI)
提交记录 2026年9月7日 (v1)，最后修订：2026年9月10日 (v2)
DOI 10.48550/arXiv.2609.07099
Field Details
arXiv Identifier arXiv:2609.07099 [cs.CV]
Authors Logesh Kumar Umapathi
Primary Subject Computer Vision and Pattern Recognition (cs.CV)
Secondary Subjects Artificial Intelligence (cs.AI)
Submitted 7 Sep 2026 (v1), Last revised: 10 Sep 2026 (v2)
DOI 10.48550/arXiv.2609.07099

摘要

Abstract

我们介绍了在 ECCV 2026 可穿戴 AI 挑战赛 EgoProactive 赛道中的参赛方案。该方案在大模型组荣登榜首，并在 \(\le 2\text{B}\) 参数组取得第二名的佳绩。该竞赛任务要求穿戴式 AI 助手在每段长达 8 秒的第一视角视频片段播放完毕后，迅速做出是主动介入打断、还是保持静默的智能决策。

We present our submission to the EgoProactive track of the ECCV 2026 Wearable AI Challenge, which ranked first in the large-model division and second in the \(\le 2\text{B}\) division. The task requires a wearable assistant to decide after each eight-second segment of egocentric video whether to intervene or remain silent.

我们的方法由两个核心模块构成： 1. 单 Token 分类： 我们将介入时机预测重新表述为一个单 Token 分类问题。模型无需生成冗长的 \(\text{interrupt}\langle\text{utterance}\rangle\) 或 \(\text{silent}\) 文本，而是仅预测 "yes" 或 "no"，随后我们根据这两个 Token 归一化后的概率做出决策。相比自由生成方式，这种设计将 Macro-F1 提升了 0.249，G-mean 提升了 0.30。 2. 视觉定位重于数据规模： 鉴于官方标注数据仅限于公开的验证集，我们利用一个具备工具调用能力的视频智能体来审查每个视频切片并打上干预时间戳，从而合成了额外的监督信号。相比之下，单纯基于旁白生成的替代数据集规模虽然大 4 倍且成本低 10 倍，但迁移效果甚至不如来自不相关真实语料的监督信号。这充分表明，对于此类主动交互任务，视觉定位的精准度远比盲目扩充标注规模更为关键。

Our approach has two main components: 1. Single-Token Classification: We reformulate intervention timing as single-token classification. Rather than generating either \(\text{interrupt}\langle\text{utterance}\rangle\) or \(\text{silent}\), the model predicts yes or no, and we derive the decision from the renormalised probabilities of these two tokens. This formulation improved macro-F1 by 0.249 and G-mean by 0.30 over free-form generation. 2. Visual Grounding over Volume: Because labelled data were limited to the released validation set, we generated additional supervision using a tool-calling video agent that inspects each clip and assigns intervention timestamps. A narration-only alternative was four times larger and ten times cheaper, but transferred worse than supervision from an unrelated real corpus, suggesting that visual grounding is more important than annotation volume for this task.

全文与资源链接

Full-Text & Resource Links