跳转至

LoSA：无需训练的视频扩散模型加速：近乎无损的稀疏注意力机制

文章背景与核心概要

视频扩散 Transformer 模型在采样时往往需要付出极高的计算代价，因为每个去噪步骤都要在漫长的 3D Token 序列上执行自注意力机制，从而产生二次方的计算复杂度。虽然现有的稀疏注意力方法能够在无需重新训练的情况下降低这种成本，但它们往往依赖于激进的稀疏度比例，这会不成比例地降低注意力保真度。

为了解决这一痛点，LoSA（近乎无损稀疏注意力，Near-Lossless Sparse Attention）颠覆了常规的优化范式，从设计之初就锚定在“近乎无损”的保真度约束上。它通过引入保留权重阈值（Retained-Mass Threshold）、块级选择（Block-Level Selection）以及索引冻结（Index Freezing）策略，在大幅减少计算量的同时确保了极高的生成质量。本文将深入解析该技术的核心亮点与性能表现。

摘要概要 (Abstract Summary)

Video diffusion transformers are notoriously expensive to sample because every denoising step applies self-attention over a long 3D token sequence, creating a quadratic computational cost. While existing sparse attention methods reduce this cost without requiring retraining, they often rely on aggressive sparsity ratios that disproportionately degrade attention fidelity.

视频扩散 Transformer 模型在采样时的计算成本出了名的高昂，因为每个去噪步骤都需要在漫长的 3D Token 序列上应用自注意力机制，从而产生了二次方的计算成本。虽然现有的稀疏注意力方法在无需重新训练的情况下降低了这一成本，但它们往往依赖于激进的稀疏度比例，这会不成比例地降低注意力保真度。

LoSA (Near-Lossless Sparse Attention) flips this optimization paradigm by anchoring on a near-lossless fidelity constraint by design: 1. Retained-Mass Threshold: Instead of fixing an arbitrary sparsity ratio, LoSA enforces a strict retained-mass threshold of 99%. 2. Block-Level Selection: It measures exact block attention masses during an early dense step. For each head and query block, it retains the smallest set of key/value blocks required to meet the 99% threshold. 3. Index Freezing: These frozen block indices are then reused across all remaining denoising steps.

LoSA（近乎无损稀疏注意力）通过在设计上锚定近乎无损的保真度约束，颠覆了这种优化范式： 1. 保留权重阈值（Retained-Mass Threshold）： LoSA 没有固定一个随意的稀疏度比例，而是强制设定了一个严格的 99% 保留权重阈值。 2. 块级选择（Block-Level Selection）： 它在早期的密集计算步骤中测量精确的块注意力权重。对于每个注意力头和查询块，它会保留满足 99% 阈值所需的最小键/值（Key/Value）块集合。 3. 索引冻结（Index Freezing）： 这些被冻结的块索引随后会在所有剩余的去噪步骤中被重复使用。

核心亮点与性能表现 (Key Highlights & Performance)

  • Core Insight: Approximately 40% of block interactions can be safely pruned while retaining 99% of the attention mass, and this high-mass support remains stable across different denoising steps.
  • Wan2.1-1.3B Results: LoSA alone achieves a \(1.36\times\) speedup with a negligible 0.06-point drop in VBench Overall score.
  • Composition with Feature Caching (HunyuanVideo): When combined with feature caching, LoSA reaches a \(3.2\times\) speedup with only a 0.02-point performance drop (compared to a 0.32-point drop for the strongest baseline at a similar speed).
  • 核心洞察： 大约 40% 的块交互可以在保留 99% 注意力权重的同时被安全地剪枝，并且这种高权重支持在不同的去噪步骤中保持稳定。
  • Wan2.1-1.3B 实验结果： 仅使用 LoSA 即可实现 \(1.36\times\) 的加速，而 VBench 总体得分仅下降了微不足道的 0.06 分。
  • 与特征缓存结合（HunyuanVideo）： 当与特征缓存技术相结合时，LoSA 的加速比可达 \(3.2\times\)，性能下降仅为 0.02 分（而在相近速度下，最强基线方法的性能下降幅度高达 0.32 分）。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2608.12032 [cs.CV]
  • Subjects: Computer Vision and Pattern Recognition (cs.CV), Artificial Intelligence (cs.AI)
  • Authors: Enhuai Liu, Yunke Wang, Yutong Wang, Changming Sun, Chang Xu
  • Submission Date: August 12, 2026
  • Full-Text Links: View PDF | HTML Version | TeX Source
  • arXiv ID: arXiv:2608.12032 [cs.CV]
  • 研究领域： 计算机视觉与模式识别 (cs.CV)，人工智能 (cs.AI)
  • 作者： Enhuai Liu, Yunke Wang, Yutong Wang, Changming Sun, Chang Xu
  • 提交日期： 2026年8月12日
  • 全文链接： 查看 PDF | HTML 版本 | TeX 源码