跳转至

文章背景与核心概要

近年来，单目深度估计在零样本泛化能力方面取得了令人瞩目的进展。然而，这些模型往往难以保持精细的结构细节和锐利的物体边界。作者指出，其根本原因在于现有的架构普遍依赖于大补丁（large-patch）视觉Transformer（ViT）编码器与卷积解码器的组合，其中粗粒度的标记化（tokenization）导致了像素级信息的丢失，而标准的上采样方法无法完全恢复这些信息。

为了解决这一问题，作者推出了 PXDepth，这是一种将全局上下文建模与像素级深度预测解耦的判别式模型。该架构主要包含： * 全局上下文建模： 利用大补丁 ViT 编码器来捕捉整体场景结构。 * 像素空间预测器： 由上下文调制像素 Transformer（Context-Modulated Pixel Transformer）模块组成的专用模块，在整个估计过程中保持高分辨率的空间表示。

这种方法有效地保留了精细结构和锐利边界，同时保持了全局深度的连贯性和推理效率。

PXDepth: Pixel-Space Modeling for Structure Preserving Monocular Depth Estimation

arXiv ID: 2608.16984
Submitted: August 17, 2026
Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Graphics (cs.GR)

Summary

Recent advancements in monocular depth estimation have achieved impressive zero-shot generalization capabilities. However, these models often struggle to maintain fine-grained structural details and sharp object boundaries. The authors identify the root cause as the common architectural reliance on large-patch Vision Transformer (ViT) encoders paired with convolutional decoders, where coarse tokenization leads to a loss of pixel-level information that standard upsampling methods cannot fully recover.

近年来，单目深度估计在零样本泛化能力方面取得了令人瞩目的进展。然而，这些模型往往难以保持精细的结构细节和锐利的物体边界。作者指出，其根本原因在于现有的架构普遍依赖于大补丁视觉Transformer（ViT）编码器与卷积解码器的组合，其中粗粒度的标记化导致了像素级信息的丢失，而标准的上采样方法无法完全恢复这些信息。

To solve this, the authors introduce PXDepth, a discriminative model that decouples global context modeling from pixel-level depth prediction. The architecture features: * Global Context Modeling: A large-patch ViT encoder to capture the overall scene structure. * Pixel-Space Predictor: A specialized module composed of Context-Modulated Pixel Transformer blocks that maintain high-resolution spatial representations throughout the estimation process.

为了解决这一问题，作者推出了 PXDepth，这是一种将全局上下文建模与像素级深度预测解耦的判别式模型。该架构主要包含： * 全局上下文建模： 利用大补丁 ViT 编码器来捕捉整体场景结构。 * 像素空间预测器： 由上下文调制像素 Transformer 模块组成的专用模块，在整个估计过程中保持高分辨率的空间表示。

This approach effectively preserves fine structures and sharp boundaries while maintaining global depth consistency and inference efficiency.

这种方法有效地保留了精细结构和锐利边界，同时保持了全局深度的连贯性和推理效率。

Authors

  • Zhiyuan Yuan
  • Guanying Chen
  • Lingteng Qiu
  • Ruimao Zhang
  • Shuguang Cui
  • Xiaochun Cao

作者

  • Zhiyuan Yuan
  • Guanying Chen
  • Lingteng Qiu
  • Ruimao Zhang
  • Shuguang Cui
  • Xiaochun Cao

Resources

资源

Citation

If you use this work, please cite it via the arXiv landing page.

引用

如果您使用了本工作，请通过 arXiv 详情页 进行引用。