跳转至

Egosurg：利用环境摄像机进行手术室工作流第一人称回放的任意视角合成

文章背景与核心概要

长期以来，观察手术实践主要依赖固定的外部视点或主观回忆，无法记录决定临床决策的关键第一人称视角（egocentric perspectives）。为了弥补这一空白，作者提出了 EgoSurg，这是一个创新的框架，能够利用稀疏的壁挂式立体视频重建动态手术室（OR）场景。

EgoSurg 能够在不要求医护人员佩戴专用设备或干扰临床工作流的前提下，生成角色专属的第一人称视角。通过初始化 3D 高斯溅射（3D Gaussian Splatting）表征并利用图像条件扩散模型进行优化，EgoSurg 成功缓解了因人员拥挤、遮挡以及摄像机覆盖范围有限而伪影的问题。经过多个医院站点和真实机器人手术的评估，EgoSurg 将标准的环境摄像机基础设施转变为可导航的 3D 记录，适用于回顾性安全审查、培训和工作流分析。

核心亮点与方法论

(Key Highlights & Methodology)

  • 非侵入式捕捉： 严格依赖稀疏的壁挂式环境立体摄像机，避免对手术人员进行任何物理仪器穿戴。
  • 动态 3D 场景重建： 利用尺度感知立体深度，初始化每个时间戳的 3D 高斯溅射表征。
  • 伪影缓解： 采用图像条件扩散模型校正辅助渲染视角，克服拥挤、遮挡和稀疏摄像机覆盖带来的问题。
  • 验证性能： 在跨越两个医院站点的四台真实机器人肺部手术和两个模拟的全工作流会话中进行了测试。
  • 近场重建保真度： 在五个工作流阶段中保持一致（\(\text{PSNR} \approx 26.8\text{ dB}\)，\(\text{SSIM} \approx 0.895\)）。
  • 第一人称视角合成： 在与成对的手持视角录像进行基准测试时，实现了 \(\text{PSNR}\) 为 \(17.8\text{ dB}\) 且 \(\text{SSIM}\) 为 \(0.766\) 的性能。
  • Non-Invasive Capture: Relies strictly on sparse wall-mounted ambient stereo cameras, avoiding any physical instrumentation of surgical personnel.
  • Dynamic 3D Scene Reconstruction: Initializes a per-timestamp 3D Gaussian Splatting representation using scale-aware stereo depth.
  • Artifact Mitigation: Employs an image-conditioned diffusion model to correct auxiliary rendered views, overcoming issues like crowding, occlusions, and sparse camera coverage.
  • Verified Performance: Tested across four real robotic pulmonology procedures and two simulated full-workflow sessions spanning two hospital sites.
  • Near-field reconstruction fidelity: Consistent across five workflow phases (\(\text{PSNR} \approx 26.8\text{ dB}\), \(\text{SSIM} \approx 0.895\)).
  • Egocentric view synthesis: Achieved a \(\text{PSNR}\) of \(17.8\text{ dB}\) and an \(\text{SSIM}\) of \(0.766\) when benchmarked against paired handheld point-of-view recordings.

预期用途与案例研究

(Intended Use & Case Studies)

该论文展示了 EgoSurg 框架的三种主要实际应用： 1. 安全裁决： 从精确的个人角度审查和评估模拟的无菌区违规情况。 2. 角色专属回放： 从不同手术团队成员的精确视点回放复杂程序。 3. 反事实分析： 通过模拟人员位置的变化来测试假设的安全或效率场景。

The paper demonstrates three primary practical applications for the EgoSurg framework: 1. Safety Adjudication: Reviewing and assessing a simulated sterile field violation from precise personal angles. 2. Role-Specific Replay: Replaying complex procedures from the exact viewpoints of different surgical team members. 3. Counterfactual Analysis: Testing hypothetical safety or efficiency scenarios by simulating changes in personnel positions.

提交历史

(Submission History)

  • [v1] 2025年10月6日 星期一
  • [v2] 2026年8月27日 星期四 (当前版本)
  • [v1] Mon, 6 Oct 2025
  • [v2] Thu, 27 Aug 2026 (Current Version)