跳转至

基于敏感度建模的开放世界语义分割

文章背景与核心概要

在“开放世界”环境中运行的现代视觉系统，必须同时具备识别已知类别和检测未见内容或异常内容的能力。传统的语义 segmentation 模型受限于“闭式世界”假设，在遇到新颖内容时往往会导致过度自信的错误分类。

本文引入了一种统一的编码器-解码器架构，在双解码器基线的基础上扩展了第三个互补的敏感度解码器（sensitivity decoder）。这三个解码器共同提供独特且相互强化的信号，以解决开放世界语义分割问题：1. 闭集分割解码器：为已知类别使用高斯原型；2. 对比特征学习解码器：使用对比范数在嵌入空间中隔离未知区域；3. 敏感度解码器（核心贡献）：捕获跨编码器尺度的细粒度纹理不规则性和激活不稳定性，这是语义原型和对比范数都无法可靠检测到的语义不确定性指标。

在 Cityscapes 和 BDD-Anomaly 数据集上的实验表明，该方法在异常分割和新类别发现方面取得了显著改进，同时保持了具有竞争力的闭集准确率（例如，在 BDD-Anomaly 上，相比基线模型的 AUROC 提升了 +2.4%，FPR@95TPR 降低了 2.5 个百分点）。

开放世界语义分割与敏感度建模

Open-World Semantic Segmentation with Sensitivity Modeling

元数据

Metadata

  • arXiv ID: 2608.08308
  • 学科分类: 计算机视觉与模式识别 (cs.CV); 人工智能 (cs.AI)
    • Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI)
  • 作者: Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki
    • Authors: Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki
  • 提交时间: 2026年8月8日
    • Submitted: August 8, 2026
  • 会议: 已被 2026 年 IEEE 图像处理国际会议 (ICIP) 卫星研讨会接受
    • Conference: Accepted at the 2026 IEEE International Conference on Image Processing (ICIP) Satellite Workshops
  • 许可证: 知识共享署名 4.0 国际许可协议

摘要

Summary

在“开放世界”环境中运行的现代视觉系统必须同时识别已知类别并检测未见过的或异常的内容。传统的语义分割模型受到“封闭世界”假设的约束，在遇到新颖内容时往往会导致过度自信的错误分类。

Modern vision systems operating in "open-world" settings must simultaneously recognize known classes and detect unseen or anomalous content. Traditional semantic segmentation models are bound by a "closed-world" assumption, often leading to overconfident misclassifications when encountering novel content.

本文引入了一种统一的编码器-解码器架构，该架构在双解码器基线的基础上扩展了第三个互补的敏感度解码器。这三个解码器共同提供独特且相互增强的信号，以应对开放世界语义分割： 1. 闭集分割解码器： 为已知类别使用高斯原型。 2. 对比特征学习解码器： 使用对比范数在嵌入空间中隔离未知区域。 3. 敏感度解码器（关键贡献）： 捕获跨编码器尺度的细粒度纹理不规则性和激活不稳定性——这是语义原型和对比范数都无法可靠检测到的语义不确定性指标。

This paper introduces a unified encoder-decoder architecture that extends a dual-decoder baseline with a third, complementary sensitivity decoder. Together, the three decoders provide distinct, mutually reinforcing signals to address open-world semantic segmentation: 1. Closed-set Segmentation Decoder: Uses Gaussian prototypes for known categories. 2. Contrastive Feature Learning Decoder: Uses contrastive norms to isolate unknown regions in the embedding space. 3. Sensitivity Decoder (Key Contribution): Captures fine-grained texture irregularities and activation instabilities across encoder scales—indicators of semantic uncertainty that neither semantic prototypes nor contrastive norms can reliably detect.

在 Cityscapes 和 BDD-Anomaly 数据集上的实验证明了其在异常分割和新类发现方面的显著改进，同时保持了有竞争力的闭集准确率（例如，在 BDD-Anomaly 上相比基线实现了 +2.4% 的 AUROC 提升，以及 FPR@95TPR 降低 2.5 个百分点）。

Experiments on the Cityscapes and BDD-Anomaly datasets demonstrate significant improvements in anomaly segmentation and novel-class discovery while maintaining competitive closed-set accuracy (e.g., achieving a +2.4% increase in AUROC and a 2.5 percentage point reduction in FPR@95TPR on BDD-Anomaly over the baseline).

链接与资源