跳转至

文章背景与核心概要

在医学人工智能领域，利用3D胸部CT扫描与放射学报告进行对比视觉语言学习，是实现无需人工标注即可训练异常分类器的重要途径。然而，传统的全局对比学习方法在处理胸部CT时面临两大根本挑战：首先，许多关键病变体积较小或局限于特定解剖部位，将整个3D影像池化为单一嵌入向量会稀释局部视觉证据；其次，标准对比目标会将批次中的其他扫描错误地视为负样本，而实际上许多胸部CT常伴有相似的临床发现，这导致了对“同阳性”样本对的惩罚。

为了克服这些局限性，本文提出了ARC-CT（Anatomy-Routed Contrastive Learning for 3D Chest CT）框架。该框架无需任何人工标注或边界框，仅依靠大语言模型（LLM）从报告中提取的标签和器官特定文本。ARC-CT的核心创新包括：利用AnatomyQFormer进行解剖学约束的区域定位，采用标签Jaccard软InfoNCE目标来优雅处理重叠的临床发现，以及引入器官级对齐损失。实验结果表明，基于精简的3D ResNet-18骨干网络，该方法在18种异常检测中取得了0.86的无掩码宏AUC（macro AUC），超越了多种更大规模的Transformer模型和高效基线。

ARC-CT: Anatomy-Routed Contrastive Vision-Language Learning for 3D Chest CT

Summary

ARC-CT is a region-aware framework designed for 3D chest computed tomography (CT) vision-language learning. It overcomes the traditional limitations of global contrastive learning—such as the dilution of visual evidence for small/localized abnormalities and the penalization of co-positive pairs (studies sharing similar clinical findings)—without requiring manual annotations or bounding boxes. Utilizing labels and organ-specific reports extracted by a Large Language Model (LLM), ARC-CT leverages an AnatomyQFormer for region localization, a label-Jaccard soft InfoNCE objective to handle overlapping clinical findings, and an organ-level alignment loss. Impressively, this compact backbone model achieves a 0.86 mask-free macro AUC across 18 abnormalities, outperforming several larger transformer models and efficient baselines.

ARC-CT 是一种专为 3D 胸部计算机断层扫描（CT）视觉语言学习而设计的区域感知框架。它克服了传统全局对比学习的固有局限性（例如小/局限性病变视觉证据被稀释，以及对具有相似临床发现的同阳性样本对进行惩罚），且无需任何人工标注或边界框。借助大语言模型（LLM）提取的标签和器官特定报告，ARC-CT 利用 AnatomyQFormer 进行区域定位、采用标签 Jaccard 软 InfoNCE 目标来处理重叠的临床发现，并引入了器官级对齐损失。令人印象深刻的是，这一紧凑的骨干模型在 18 种异常检测中实现了 0.86 的无掩码宏 AUC（macro AUC），性能超越了几个规模更大的 Transformer 模型和高效基线。

Paper Overview

  • Title: ARC-CT: Anatomy-Routed Contrastive Vision-Language Learning for 3D Chest CT
  • Authors: Huseyin Umut Isik, Mehmet Alp Ozaydin, Sila Kurugol, Şeyda Ertekin
  • Submitted On: August 28, 2026
  • Primary Subject: Computer Vision and Pattern Recognition (cs.CV)
  • Conference Context: Accepted to the Thoracic Image Analysis (TIA) Workshop at MICCAI 2026
  • Identifiers: arXiv:2608.28455 [cs.CV] | DOI: 10.48550/arXiv.2608.28455

论文概览

  • 标题： ARC-CT: Anatomy-Routed Contrastive Vision-Language Learning for 3D Chest CT
  • 作者： Huseyin Umut Isik, Mehmet Alp Ozaydin, Sila Kurugol, Şeyda Ertekin
  • 提交日期： 2026年8月28日
  • 主要学科： 计算机视觉与模式识别 (cs.CV)
  • 会议背景： 已被 MICCAI 2026 胸部图像分析（TIA）研讨会接受
  • 标识符： arXiv:2608.28455 [cs.CV] | DOI: 10.48550/arXiv.2608.28455

Abstract

Contrastive vision-language learning uses paired chest CT volumes and radiology reports to learn abnormality classifiers without manually annotated labels. However, two characteristics of chest CT challenge conventional global contrastive learning:

  1. Diluted Evidence: Many critical abnormalities are small or anatomically localized, and pooling an entire volume into a single embedding may dilute their visual evidence.
  2. False-Negative Penalties: The standard contrastive objective treats every other scan in a batch as a negative. Because many chest CTs share abnormalities, this objective incorrectly pushes co-positive pairs apart.

We propose Anatomy-Routed Contrastive Learning for 3D Chest CT (ARC-CT), a region-aware framework that addresses these limitations using only labels extracted from reports by an LLM, with no manual annotations or bounding boxes.

Core Components

  • AnatomyQFormer: Localizes evidence via queries constrained by automatically generated organ masks.
  • Label-Jaccard Soft InfoNCE Objective: Integrates the standard one-hot target with the label-set overlap of each pair, reducing false-negative penalties between studies that share clinical findings.
  • Organ-Level Alignment Loss: Connects mask-pooled visual features to organ-specific report text extracted offline with a large language model.

Key Results

  • Achieves a 0.86 mask-free macro AUC across 18 abnormalities using a compact 3D ResNet-18 backbone.
  • Outperforms both comparable efficient baselines and several larger transformer models.

摘要

对比视觉语言学习利用成对的胸部 CT 体素与放射学报告来训练异常分类器，且无需人工标注标签。然而，胸部 CT 的两个特征对传统的全局对比学习构成了挑战：

  1. 证据稀释： 许多关键异常体积较小或在解剖学上局限于特定区域，将整个体素卷池化为单个嵌入向量可能会稀释其视觉证据。
  2. 假阴性惩罚： 标准对比目标将批次中的所有其他扫描都视为负样本。由于许多胸部 CT 具有相似的异常，这一目标会错误地将同阳性样本对拉开。

我们提出了面向 3D 胸部 CT 的解剖路径对比学习（ARC-CT），这是一个区域感知框架，它仅使用大模型从报告中提取的标签来解决这些局限性，无需任何人工标注或边界框。

核心组件

  • AnatomyQFormer： 通过由自动生成的器官掩码约束的查询来定位证据。
  • 标签 Jaccard 软 InfoNCE 目标： 将标准的独热（one-hot）目标与每对样本的标签集重叠度相结合，减少具有相同临床发现的研究之间的假阴性惩罚。
  • 器官级对齐损失： 将掩码池化后的视觉特征与使用大语言模型离线提取的器官特定报告文本进行关联。

关键结果

  • 使用紧凑的 3D ResNet-18 骨干网络，在 18 种异常检测中实现了 0.86 的无掩码宏 AUC。
  • 性能超越了可比的高效基线以及几个规模更大的 Transformer 模型。

资源与链接