跳转至

文章背景与核心概要

在多个抽象层级（从原子动作为期到长期意图）上识别人类行为，长期以来一直受到现有数据集局限性的阻碍。大型语料库通常只提供孤立的、采用平铺标签（flatly-labeled）的片段，且缺乏时间组合性；而录制的组合活动数据集往往较为浅显、领域单一，并严重依赖僵化的分层结构。

为了弥补这一空白，本文作者提出了一种新颖的基准生成与评估框架。该框架从平铺的单标签动作语料库中合成了一个四级分层意图基准测试（涵盖动作、活动、低级意图 [LLI] 以及高级意图 [HLI]），同时完整保留了真实预提取的动作级特征。这一研究为评估模型在复杂、多层次人类行为理解任务中的组合式泛化能力提供了强有力的工具。

面向分层式人类动作识别的组合式基准测试综合生成 (Compositional Benchmark Synthesis for Hierarchical Human Action Recognition)

arXiv ID: arXiv:2608.10765 [cs.AI]
DOI: 10.48550/arXiv.2608.10765
提交时间: 2026年8月11日
主要领域: 人工智能 (cs.AI)
次要领域: 计算机视觉与模式识别 (cs.CV)

作者: * Farnaz Soleimani (LISSI) * Abdelghani Chibani (LISSI) * Yacine Amirat (LISSI) * Ghazaleh Khodabandelou (LISSI)

📌 执行摘要 (Executive Summary)

Recognizing human behavior across multiple levels of abstraction—ranging from atomic actions to long-term intentions—is hindered by the limitations of existing datasets. Large corpora typically provide isolated, flatly-labeled clips without temporal composition, while recorded composite-activity datasets tend to be shallow, domain-narrow, and rely on rigid hierarchies.

在多个抽象层级（从原子动作到长期意图）上识别人类行为，长期以来一直受到现有数据集局限性的阻碍。大型语料库通常只提供孤立的、采用平铺标签的片段，且缺乏时间组合性；而录制的组合活动数据集往往较为浅显、领域单一，并严重依赖僵化的分层结构。

To address this gap, the authors propose a novel benchmark-generation and evaluation framework. This framework synthesizes a four-level hierarchical-intention benchmark (covering actions, activities, low-level intentions [LLIs], and high-level intentions [HLIs]) from a flat single-label action corpus while preserving real pre-extracted action-level features.

为了弥补这一空白，作者提出了一种新颖的基准生成与评估框架。该框架从平铺的单标签动作语料库中合成了一个四级分层意图基准测试（涵盖动作、活动、低级意图 [LLIs] 和高级意图 [HLIs]），同时保留了真实预提取的动作级特征。

🏗️ 方法论与框架设计 (Methodology & Framework Design)

  • Episode Assembly: Episodes are generated using a transition model subject to a subject-consistency constraint.
  • 片段组装 (Episode Assembly): 片段是通过受主体一致性约束的转移模型（transition model）生成的。
  • Coverage-Aware Sampling: Employs a sampler that successfully reduces the subject usage Gini coefficient from 0.566 to 0.248.
  • 感知覆盖率的采样 (Coverage-Aware Sampling): 采用了一种采样器，成功将主体使用的基尼系数从 0.566 降低至 0.248。
  • Mitigating Circular Supervision: A major risk in benchmark synthesis is that models might succeed by memorizing the generator's rules rather than performing genuine reasoning. The authors eliminate this risk by design by keeping sequence-generation rules entirely disjoint from the first-order-logic rules utilized during evaluation.
  • 缓解循环监督 (Mitigating Circular Supervision): 基准合成中的一个主要风险是，模型可能通过记忆生成器的规则来取得成功，而非进行真正的推理。作者通过设计机制消除了这一风险：使序列生成规则与评估过程中使用的一阶逻辑规则保持完全不相交（disjoint）。
  • Dataset Scale: The instantiation yields 15,002 distinct episodes.
  • 数据集规模 (Dataset Scale): 实例化后共产生 15,002 个不同的片段。

📊 评估与基线发现 (Evaluation & Baseline Findings)

Four reference baselines from different model families were evaluated to characterize benchmark difficulty (rather than to serve as competitive recognition methods):

评估了来自不同模型家族的四个参考基准，旨在表征基准测试的难度（而非作为具有竞争力的识别方法）：

  • Compositional Gap: A consistent compositional held-out gap of 0.13 to 0.17 macro-F1 appears across all tested baselines.
  • 组合鸿沟 (Compositional Gap): 在所有测试的基线中，均出现了 0.13 到 0.17 的 macro-F1 的持续组合保留鸿沟（compositional held-out gap）。
  • Graph-Aware Models: Even a graph-aware model—which achieves the highest recognition performance—fails to close this gap, pointing to a structural property inherent to the benchmark rather than a model artifact.
  • 图感知模型 (Graph-Aware Models): 即使是实现了最高识别性能的图感知模型，也未能弥合这一鸿沟，这表明该现象是基准测试固有的结构属性，而非模型造成的伪影。
  • Control Checks:
  • A logic-free baseline violates held-out semantic rules above their intrinsic data rate.
  • An order-destroying control test changes macro-F1 strictly within seed variation, confirming reliable generator consistency.
  • 控制检查 (Control Checks):
  • 无逻辑基线（logic-free baseline）对保留语义规则的违反率超过了其固有的数据率。
  • 破坏顺序的控制测试（order-destroying control test）对 macro-F1 的影响严格限制在随机种子变化的范围内，从而验证了生成器的可靠一致性。

📂 开放科学与资源 (Open Science & Resources)

The ontology, transition model, and episode generator have been publicly released, enabling researchers to regenerate and extend the benchmark for future studies.

本体论（ontology）、转移模型和片段生成器已向公众发布，使研究人员能够为未来的研究重新生成和扩展该基准测试。