文章背景与核心概要

当前的开放词汇实例分割（OVIS）和开放集全景分割（OSPS）方法在面对带噪的伪掩码、有限的视觉-文本基础对齐以及处理同义词或词表外（OOV）词汇时，往往表现出明显的局限性。本文针对这些痛点，提出了一种新颖的多模态框架，能够在无需人工标注的情况下自动生成高质量的监督信号。

通过整合 Grounded SAM、LLaVA 和 CLIP，该框架构建了鲁棒的伪分割掩码、描述性标题以及语义对齐的同义词集。模型通过三种专门设计的训练目标进一步优化——包括扩展基础损失（extended grounding loss）、语义一致性损失（semantic consistency loss）和生成式标题重建（generative caption reconstruction），从而在 COCO 数据集上实现了最先进的性能表现。

从多模态伪标签中学习：实现鲁棒的开放词汇实例与全景分割

作者： Duy Tran Thanh, Yeejin Lee, Byeongkeun Kang
发布时间： 2026年8月12日
期刊： Neurocomputing (2026)
arXiv： 2608.11681

摘要 (Summary)

本文针对当前开放词汇实例分割（OVIS）和开放集全景分割（OSPS）方法的局限性进行了研究，这些方法通常难以应对带噪的伪掩码、有限的视觉-文本基础对齐，以及处理同义词或词表外（OOV）词汇的困难。

This paper addresses the limitations of current Open-Vocabulary Instance Segmentation (OVIS) and Open-Set Panoptic Segmentation (OSPS) methods, which often struggle with noisy pseudo-masks, limited visual-textual grounding, and difficulties in handling synonyms or out-of-vocabulary (OOV) terms.

作者提出了一种新颖的多模态框架，在无需人工标注的情况下自动生成高质量的监督信号。通过集成 Grounded SAM、LLaVA 和 CLIP，该框架构建了鲁棒的伪分割掩码、描述性标题以及语义对齐的同义词集。模型通过三个专门的训练目标进一步优化——扩展基础损失、语义一致性损失和生成式标题重建，从而在 COCO 数据集上取得了最先进的性能。

The authors propose a novel multimodal framework that automates the generation of high-quality supervision without manual annotation. By integrating Grounded SAM, LLaVA, and CLIP, the framework constructs robust pseudo-segmentation masks, descriptive captions, and semantically aligned synonym sets. The model is further refined through three specialized training objectives—extended grounding loss, semantic consistency loss, and generative caption reconstruction—resulting in state-of-the-art performance on the COCO dataset.

核心贡献 (Key Contributions)

• 自动多模态监督： 利用预训练的视听语言模型生成伪标签，有效地避开了对穷举式人工标注的需求。

  • Automated Multimodal Supervision: Leverages pre-trained vision-language models to generate pseudo-labels, effectively bypassing the need for exhaustive human annotation.

• 增强的语义对齐： 引入了 CLIP引导的同义词过滤 和 基于GPT的标题重建，以弥合视觉特征与文本描述之间的鸿沟。

  • Enhanced Semantic Alignment: Introduces CLIP-guided synonym filtering and GPT-based caption reconstruction to bridge the gap between visual features and textual descriptions.

• 鲁棒的训练目标：

  • 扩展基础损失： 结合了视觉基础同义词以提高物体识别能力。
  • 语义一致性损失： 确保视觉片段与其对应文本之间的连贯映射。
  • 生成式标题重建损失： 提升模型描述和识别未见类别的能力。

    • Robust Training Objectives:
      • Extended Grounding Loss: Incorporates visually grounded synonyms to improve object recognition.
      • Semantic Consistency Loss: Ensures coherent mapping between visual segments and their textual counterparts.
      • Generative Caption Reconstruction Loss: Improves the model's ability to describe and identify unseen categories.

• 基准性能： 在 COCO 数据集的 OVIS 和 OSPS 基准测试中，展现出对现有最先进方法的显著提升。

  • Benchmark Performance: Demonstrated significant improvements over existing state-of-the-art methods on both OVIS and OSPS benchmarks using the COCO dataset.

元数据 (Metadata)