跳转至

结合视觉先验的医学病灶分割特征重构方法

文章背景与核心概要

医学图像中的精准病灶分割对于临床诊断和治疗方案的制定至关重要，但这一过程经常受到复杂背景干扰和多样化病灶形态的阻碍。传统的编码器-解码器框架由于缺乏早期的先验指导以及在编码阶段缺乏强大的特征重构能力，往往难以取得理想的效果。

为了克服这些挑战，研究人员推出了 FreNet——一种利用视觉先验的全新特征重构框架。FreNet 在编码前通过隐式先验神经网络（IPNN）执行像素级重构，该网络利用来自 SAM（Segment Anything Model）的视觉先验对连续空间场进行建模，从而抑制背景噪声。此外，它在编码过程中通过双域特征重构（DFR）模块应用特征级重构，该模块结合了用于前景-背景分离的频率解耦模块（FDM）以及用于提高空间稳定性的空间定位模块（SLM）。在九个医学成像数据集上进行的广泛基准测试表明，FreNet 的性能显著优于当前的最先进技术。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2609.03535 [cs.AI]
  • 研究方向: 人工智能 (cs.AI); 图像与视频处理 (eess.IV)
  • 提交日期: 2026年9月3日
  • 作者: Yinan Liu, Jiankang Hong, Zhen Gao, Ye Lu

摘要 (Abstract)

医学图像中的病灶分割在临床诊断和治疗规划中起着关键作用。尽管取得了显着进展，但由于两大主要因素，病灶分割依然充满挑战：(1) 复杂的背景干扰；(2) 多样的病灶形态。现有的基于编码器-解码器的方法主要集中于增强特征提取或重新设计解码策略。然而，它们缺乏早期的先验指导以及编码阶段的特征重构，从而限制了其应对这些挑战的有效性。为了解决这些局限性，我们提出了 FreNet，这是一个结合视觉先验的特征重构框架，它在编码前执行像素级重构，并在编码期间执行特征级重构，从而实现精确的医学病灶分割。为了抑制背景响应，我们提出了隐式先验神经网络（IPNN），它对连续空间场进行建模，并利用来自 SAM 的视觉先验在编码阶段之前对输入图像进行重构。为了更好地处理多样的病灶形态，我们设计了一个双域特征重构（DFR）模块，以在编码阶段逐步重构骨干网络特征。在 DFR 内部，频率解耦模块（FDM）在频域中解耦骨干网络特征以增强前景-背景的可辨别性，而空间定位模块（SLM）在频率解耦后对空间进行重新定位并改善空间稳定性。在跨越三种成像模态的 9 个医学图像分割基准上进行的广泛实验表明，FreNet 显著优于当前最先进（SOTA）的方法。在更具挑战性的 ETIS 数据集上，我们的方法相比 SOTA 方法在 Dice 指标上提升了 5.0%，相比 SAM 提升了 7.2%。

Lesion segmentation in medical images plays a critical role in clinical diagnosis and treatment planning. Despite significant advances, lesion segmentation remains challenging due to two major factors: (1) complex background interference; (2) diverse lesion morphology. Existing encoder-decoder based methods mainly focus on enhancing feature extraction or redesigning decoding strategies. However, they lack early prior guidance and feature reconfiguration during the encoding stage, limiting their effectiveness in handling these challenges. To address these limitations, we propose FreNet, a feature reconfiguration framework with visual priors, which performs pixel-level reconfiguration before encoding and feature-level reconfiguration during encoding for precise medical lesion segmentation. To suppress background responses, we propose an Implicit Prior Neural Network (IPNN), which models a continuous spatial field and leverages visual prior from SAM to reconfigure input image before encoding stage. To better handle diverse lesion morphology, we design a Dual-domain Feature Reconfiguration (DFR) module to progressively reconfigure backbone features during encoding stage. Within DFR, the Frequency Decoupling Module (FDM) decouples backbone features in frequency domain to enhance foreground-background discriminability, while the Spatial Localization Module (SLM) spatially relocates and improving spatial stability after frequency decoupling. Extensive experiments on 9 medical image segmentation benchmarks across three imaging modalities demonstrate that FreNet significantly outperforms state-of-the-art (SOTA) methods. On the challenging ETIS dataset, our method achieves Dice improvements of 5.0% over SOTA method and 7.2% over SAM.

FreNet 的核心创新点 (Core Innovations of FreNet)

  1. 隐式先验神经网络 (IPNN):
  2. 在编码阶段之前于像素级别运行。
  3. 利用源自 SAM 的视觉先验对连续空间场进行建模，以主动抑制复杂的背景干扰。
  1. Implicit Prior Neural Network (IPNN):
  2. Operates before the encoding stage at the pixel level.
  3. Models a continuous spatial field utilizing visual priors derived from SAM to actively suppress complex background interference.
  1. 双域特征重构 (DFR) 模块:
  2. 在编码阶段逐步运行，以处理多样化的病灶形态。
  3. 频率解耦模块 (FDM): 在频域中解耦骨干网络特征，以增强前景与背景的可辨别性。
  4. 空间定位模块 (SLM): 在频域解耦后，优化空间重定位并稳定空间结构。
  1. Dual-domain Feature Reconfiguration (DFR) Module:
  2. Operates progressively during the encoding stage to handle diverse lesion morphologies.
  3. Frequency Decoupling Module (FDM): Decouples backbone features in the frequency domain to sharpen foreground-background discriminability.
  4. Spatial Localization Module (SLM): Optimizes spatial relocation and stabilizes spatial structures following frequency-domain decoupling.