PACE：用于快速 VLM 推理的统一压缩与提取范式

文章背景与核心概要

视觉语言模型（VLM）展现出了卓越的视觉推理能力，但随着视觉 Token 数量的激增，其推理成本也随之迅速上升。现有的视觉 Token 剪枝方法通常仅在视觉编码器之后运行，错失了编码阶段的优化机会，并且在严格的 Token 预算下，难以兼顾整体视觉上下文与细粒度细节。

为了解决这些问题，本文引入了 PACE (Pixel-Adaptive Condense and Extract，像素自适应压缩与提取)，这是一个无需训练的推理框架，通过统一的范式同时加速视觉编码器和大语言模型（LLM）：1. 压缩阶段（Condense Stage）： 在编码前使用自适应像素压缩器（APC）评估信息密度，自适应地下采样冗余输入，在保留全局上下文的同时削减编码器计算量。2. 提取阶段（Extract Stage）： 使用动态双重注意力提取器（DDAE），通过融合来自编码器的内部视觉信号与来自 LLM 的语义信号来选择性地保留视觉 Token，从而保护对任务至关重要的细节。

核心结果： 将 PACE 集成到 Qwen2.5-VL-7B 中时，模型仅使用 10% 的视觉 Token 就保留了 93.8% 的原始性能，从而使首字延迟（TTFT）实现了 3.1 倍的加速。

论文元数据

arXiv ID: arXiv:2608.27206 [cs.CV]
作者: Junjie Liu, Shengyuan Ye, Xu Chen
提交时间: 2026年8月27日
状态: 已被 Findings of EMNLP 2026 接收（22页，9个图，13个表）
主要学科: 计算机视觉与模式识别 (cs.CV)
次要学科: 人工智能 (cs.AI)
代码仓库: GitHub - jjL357/PACE

摘要

Vision-Language Models (VLMs) demonstrate exceptional visual reasoning capabilities, yet their inference costs escalate rapidly with the proliferation of visual tokens. Existing visual token pruning methods exhibit two fundamental limitations. First, most approaches approach exclusively post-vision encoder, leaving the substantial latency of the visual encoding phase unoptimized. Second, under strict token budgets, these methods often fail to jointly preserve holistic visual contexts and fine-grained details, leading to performance degradation. To address these bottlenecks, we propose PACE (Pixel-Adaptive Condense and Extract), a training-free inference framework that accelerates both the vision encoder and the Large Language Model (LLM) via a unified Condense-and-Extract paradigm. During the Condense stage, an Adaptive Pixel Compressor (APC) evaluates visual information density prior to encoding, adaptively downsampling redundant inputs, curtailing encoder computation while preserving global context and essential visual cues. In the Extract stage, a Dynamic Dual-Attention Extractor (DDAE) selectively retains visual tokens via a fusion of internal visual signals from the encoder and semantic signals from the LLM, safeguarding task-critical details. By integrating PACE into Qwen2.5-VL-7B, the model retains 93.8% of its original performance while utilizing only 10% of the visual tokens, yielding a 3.1x speedup in time to first token (TTFT).

视觉语言模型（VLM）展现出了卓越的视觉推理能力，但随着视觉 Token 数量的激增，其推理成本也随之迅速上升。现有的视觉 Token 剪枝方法暴露出两个根本性的局限性。首先，大多数方法仅在视觉编码器之后运行，导致视觉编码阶段的大量延迟未能得到优化。其次，在严格的 Token 预算下，这些方法往往无法同时保留整体视觉上下文和细粒度细节，从而导致性能下降。为了解决这些瓶颈，我们提出了 PACE（像素自适应压缩与提取，Pixel-Adaptive Condense and Extract），这是一个无需训练的推理框架，它通过统一的“压缩-提取”范式同时加速视觉编码器和大语言模型（LLM）。在压缩阶段，自适应像素压缩器（APC）在编码前评估视觉信息密度，自适应地下采样冗余输入，在保留全局上下文和核心视觉线索的同时削减编码器的计算量。在提取阶段，动态双重注意力提取器（DDAE）通过融合编码器的内部视觉信号与 LLM 的语义信号来选择性地保留视觉 Token，从而保护对任务至关重要的细节。通过将 PACE 集成到 Qwen2.5-VL-7B 中，模型在仅使用 10% 视觉 Token 的情况下保留了 93.8% 的原始性能，使首字延迟（TTFT）实现了 3.1 倍的加速。