跳转至

面向超高分辨率遥感图像分割的分层自适应特征精炼网络

文章背景与核心概要

超高分辨率（VHR）遥感图像分割在土地利用监测、城市规划和环境感知等领域具有重要应用，但由于地物尺度多变、边界复杂以及类间混淆严重，传统模型往往难以在细粒度细节与语义上下文之间取得平衡。本文介绍了一种名为分层自适应特征精炼网络（HAFR-Net）的新型框架，旨在通过渐进式精炼策略克服这些挑战。

HAFR-Net 核心引入了异质性引导的阶段自适应融合（HG-SAF）、频率-残差适配器（FRA）以及混淆感知三先验解码器（CATP）。通过动态预测阶段权重、注入零初始化有界残差频率信息以及整合边界和类别关系线索，该模型在保持原始预训练特征完整性的同时，显著提升了边界检测和复杂地物分类的准确率，在多个主流遥感基准数据集（如 ISPRS Vaihingen、Potsdam、LoveDA 和 OpenEarthMap）上均展现出超越基线模型的卓越性能。

摘要

分层自适应特征精炼网络（HAFR-Net） 是一种旨在解决超高分辨率（VHR）遥感图像分割挑战的新型框架。传统模型往往难以平衡细粒度细节与语义上下文，或者因激进的特定任务转换而遭遇性能退化，而 HAFR-Net 采用了一种渐进式的精炼策略。通过利用分层表示而非取代它们，该模型在边界检测和复杂目标分类方面实现了更高的准确率。

Summary

The Hierarchical Adaptive Feature Refinement Network (HAFR-Net) is a novel framework designed to address the challenges of segmenting very-high-resolution (VHR) remote sensing imagery. While traditional models often struggle to balance fine-grained details with semantic context—or suffer from performance degradation due to aggressive task-specific transformations—HAFR-Net employs a progressive refinement strategy. By leveraging hierarchical representations rather than replacing them, the model achieves superior accuracy in boundary detection and complex object classification.

核心创新

  • 异质性引导的阶段自适应融合（HG-SAF）： 根据局部特征变化动态预测密集阶段权重，使模型能够适应不同的区域需求。
  • 频率-残差适配器（FRA）： 通过零初始化的有界残差分支注入必要的频率信息，确保原始预训练特征的完整性。
  • 混淆感知三先验解码器（CATP）： 通过整合边界、目标性和类关系线索来规范预测结果，从而解决常见的分类歧义。

Key Innovations

  • Heterogeneity-Guided Stage-Adaptive Fusion (HG-SAF): Dynamically predicts dense stage weights based on local feature variations, allowing the model to adapt to different regional requirements.
  • Frequency-Residual Adapter (FRA): Injects essential frequency information through a zero-initialized, bounded residual branch, ensuring the integrity of the original pretrained features.
  • Confusion-Aware Tri-Prior Decoder (CATP): Regularizes predictions by integrating boundary, objectness, and class-relation cues to resolve common classification ambiguities.

性能亮点

在多个基准测试中，HAFR-Net 相比 UPerNet 基线模型展现出显著的性能提升： * ISPRS Vaihingen： 84.12% mIoU (+0.55%) * ISPRS Potsdam： 87.86% mIoU (+0.95%) * LoveDA： 55.17% mIoU (+1.55%) * OpenEarthMap： 67.70% mIoU (+1.84%)

Performance Highlights

HAFR-Net demonstrates significant improvements over the UPerNet baseline across multiple benchmarks: * ISPRS Vaihingen: 84.12% mIoU (+0.55%) * ISPRS Potsdam: 87.86% mIoU (+0.95%) * LoveDA: 55.17% mIoU (+1.55%) * OpenEarthMap: 67.70% mIoU (+1.84%)

作者

Shuaishuai Cao, Meng Tang, Shuwei Peng, Xuan Liu, Min Huang, Jie Chen, Jiacheng Niu, Yong Chen, Edore Akpokodje, and Hui Lin.

Authors

Shuaishuai Cao, Meng Tang, Shuwei Peng, Xuan Liu, Min Huang, Jie Chen, Jiacheng Niu, Yong Chen, Edore Akpokodje, and Hui Lin.

资源

Resources

license icon