跳转至

通过CT阅片过程中的3D注视模式预测放射科医生的专业水平

文章背景与核心概要

本研究探讨了如何通过分析放射科医生在解读三维胸部CT扫描时的视觉搜索行为，来客观评估其专业水平。随着医学影像诊断复杂性的增加，理解专家与新手在阅片策略上的差异对于医学教育和临床质量控制具有重要意义。

研究提出了一种基于注视信息的Transformer框架，该框架利用DINOv2主干网络，通过在自注意力机制中引入可学习的对数空间偏置，以及采用注视加权的补丁嵌入池化技术，将眼动追踪数据与三维图像特征深度融合。在182次CT阅片实验中，该模型表现出色，ROC-AUC达到0.91，F1分数达到0.86，证明了将视觉搜索行为纳入AI驱动的医学评估体系具有显著的临床价值。

摘要 (Summary)

This research introduces a novel, gaze-informed transformer framework designed to objectively assess the expertise of radiologists analyzing volumetric thoracic CT scans. By integrating eye-tracking fixation patterns with a DINOv2 backbone—using a learnable log-space bias in self-attention and gaze-weighted patch embedding pooling—the model accurately classifies radiologist experience levels. Evaluated on 182 CT reading sessions, the framework achieved an impressive ROC-AUC of 0.91 and an F1 score of 0.86, outperforming existing adapted methods and demonstrating the value of incorporating visual search behaviors into AI-driven medical assessment.

元数据与发布详情 (Metadata & Publication Details)

字段 详情
arXiv 标识符 arXiv:2608.23836 [cs.CV]
主要学科 计算机视觉与模式识别 (cs.CV)
次要学科 人工智能 (cs.AI), 机器学习 (cs.LG)
作者 Leila Khaertdinova, Anna Anikina, Claudia Mello-Thoms, Bulat Ibragimov
提交日期 2026年8月24日
会议 已被 MICCAI 2026 录用
资源 GitHub 仓库

摘要 (Abstract)

准确解读三维CT影像需要高效地导航图像体积，并关注诊断相关的区域。尽管眼动追踪在二维医学影像中已得到广泛研究，但其在CT环境下的专业水平评估应用仍然有限。

Accurate interpretation of volumetric CT requires efficient navigation of 3D image volumes and attention to diagnostically relevant regions. While eye-tracking has been widely studied in 2D medical imaging, its use for expertise assessment in CT settings remains limited.

我们提出了一种用于胸部CT专业水平分类的注视信息Transformer框架。通过使用DINOv2主干网络，放射科医生的注视模式通过以下方式被整合到三维特征学习中： 1. 自注意力机制中的可学习对数空间偏置，以及 2. 补丁嵌入的注视加权池化。

We propose a gaze-informed transformer framework for expertise classification in thoracic CT. Using a DINOv2 backbone, radiologist fixation patterns are integrated into volumetric feature learning through: 1. A learnable log-space bias in self-attention, and 2. Gaze-weighted pooling of patch embeddings.

我们在五名不同经验水平的放射科医生进行的182次CT阅片会话中训练并评估了我们的方法。在独立的测试集上，该模型实现了 0.91 的 ROC-AUC 和 0.86 的 F1 分数，优于现有的适配方法。这些发现表明，将视觉搜索行为纳入Transformer模型可能有助于放射学中客观的、基于过程的专业水平评估。

We trained and evaluated our approach on 182 CT reading sessions from five radiologists with varying levels of experience. On a held-out test set, the model achieves an ROC-AUC of 0.91 and an F1 score of 0.86, outperforming adapted methods. These findings suggest that incorporating visual search behavior into transformers may support objective, process-based expertise assessment in radiology.

获取与全文链接 (Access & Full-Text Links)