跳转至

文章背景与核心概要

在大型生成模型显著提升图像超分辨率（SR）感知质量的同时，如何保持对低分辨率（LR）观测结果的真实保真度依然是一个持续存在的难题。本文指出，基于隐空间表征构建的扩散Transformer（DiT）存在一个关键局限性：变分自编码器（VAE）的压缩瓶颈削弱了细粒度空间信息，导致模型产生缺乏输入图像依据的“幻觉”细节。

为了解决这一问题，作者引入了像素基础超分辨率（Pixel-Grounded Super-Resolution, PGSR）框架。通过提取并重用VAE编码前的像素证据，PGSR在无需重新训练庞大预训练骨干网络的情况下，实现了更出色的真实感与保真度平衡。该研究为基于扩散的图像恢复任务提供了轻量且高效的改进思路。

当隐空间遗忘像素：恢复扩散Transformer超分辨率中的保真度

作者： Yu Shi, Yuyao Zhang, Yu-wing Tai
机构 / 学科领域： 计算机视觉与模式识别 (cs.CV)、人工智能 (cs.AI)
arXiv ID： arXiv:2608.09133 [cs.CV]
提交时间： 2026年8月10日

📌 执行摘要

While large generative models have significantly improved the perceptual quality of image super-resolution (SR), maintaining true fidelity to low-resolution (LR) observations remains a persistent hurdle.

This paper identifies a critical limitation in Diffusion Transformers (DiTs) built on latent representations: the compression bottleneck of the Variational Autoencoder (VAE) weakens fine-grained spatial information, leading to hallucinated details that lack grounding in the input image. To address this, the authors introduce the Pixel-Grounded Super-Resolution (PGSR) framework. By extracting and reusing pre-VAE pixel evidence, PGSR achieves a superior realism-fidelity trade-off without retraining massive pretrained backbones.

虽然大型生成模型显著提升了图像超分辨率（SR）的感知质量，但保持对低分辨率（LR）观测结果的真正保真度依然是一个长期的障碍。本文指出了基于隐空间表征构建的扩散Transformer（DiT）的一个关键局限性：变分自编码器（VAE）的压缩瓶颈削弱了细粒度空间信息，导致模型产生缺乏输入图像依据的幻觉细节。为了解决这一问题，作者引入了像素基础超分辨率（PGSR）框架。通过提取并重用VAE编码前的像素证据，PGSR在无需重新训练庞大预训练骨干网络的前提下，实现了更优的真实感与保真度权衡。

🔍 核心洞察与隐空间扩散的问题所在

  • The Compression Bottleneck: Standard latent diffusion models rely on VAEs to compress images into latent space. During this process, high-frequency spatial details are often lost, causing the model to "forget" precise pixel configurations.
  • Weakly Grounded Hallucinations: As a result, subsequent generation steps introduce fine details that look visually appealing but do not accurately reflect the original LR observation.
  • 压缩瓶颈： 标准的隐空间扩散模型依赖VAE将图像压缩到隐空间中。在此过程中，高频空间细节往往会丢失，导致模型“遗忘”精确的像素配置。
  • 弱基础的幻觉： 因此，后续的生成步骤会引入一些看起来视觉效果不错、但并未准确反映原始LR观测结果的精细细节。

🛠️ 提出方法：像素基础超分辨率 (PGSR)

The PGSR framework re-evaluates generative SR from a representation perspective. Instead of relying exclusively on compressed latent conditions, it preserves pre-VAE pixel evidence from the upsampled LR image and integrates it across two crucial stages:

  1. Condition-Side Trajectory Guidance: Fuses LR-derived pixel evidence directly with the latent LR condition to steer the latent restoration trajectory.
  2. Decoder-Side Pixel Grounding: Injects multi-scale pixel features straight into the frozen VAE decoder, firmly grounding the final image rendering in authentic, LR-observed cues.

Efficiency & Scalability

To make adaptation practical for large pretrained DiT models: * The core latent autoencoder and the main flow-matching backbone are kept completely frozen. * Only lightweight restoration modules are trained. * An efficient local-window attention variant is introduced to boost high-resolution efficiency and scalability.

PGSR框架从表征视角重新评估了生成式超分辨率。它没有单纯依赖压缩后的隐空间条件，而是保留了来自上采样LR图像的VAE编码前像素证据，并将其整合到两个关键阶段中：

  1. 条件侧轨迹引导： 将LR导出的像素 evidence（证据）直接与隐空间LR条件相融合，以引导隐空间恢复轨迹。
  2. 解码器侧像素基础化： 将多尺度像素特征直接注入到冻结的VAE解码器中，将最终的图像渲染牢牢锚定在真实的LR观测线索上。

效率与可扩展性

为了使这种适配方案对大型预训练DiT模型切实可行： * 核心的隐空间自编码器和主要的流匹配（flow-matching）骨干网络保持完全冻结。 * 仅训练轻量级的恢复模块。 * 引入了高效的局部窗口注意力变体，以提升高分辨率下的效率和可扩展性。

📊 结果与性能

Extensive empirical evaluations show that PGSR effectively balances realism and fidelity, consistently outperforming existing latent generative SR methods by producing sharper, more visually convincing, and faithful results.

广泛的实证评估表明，PGSR 有效地平衡了真实感与保真度，通过生成更锐利、视觉上更具说服力且忠于原图的结果，始终优于现有的隐空间生成式超分辨率方法。

🔗 链接与资源