跳转至

基于本地视听动态的全能大模型延迟音频修剪技术 (A-PACK)

文章背景与核心概要

全能模态大模型（Omni-LLMs）能够同时处理音频、视频和文本输入，但长多模态序列的处理带来了巨大的计算负担，尤其是在预填充计算（prefill computation）和键值（KV）缓存成本方面。传统的多模态压缩方法通常局限于大模型输入前的词元缩减，忽视了跨大模型边界的模态特定压缩。

为了解决这一问题，本文作者提出了 A-PACK 这一创新的两阶段框架，将音频修剪延迟到查询条件下的多模态交互积极显现的阶段。研究表明，与视频相比，音频序列具有更高的任务相关信息密度和每个词元的表征多样性；同时，本地视听动态比标准的按词元匹配更能充当视觉选择的有效线索。基于此，A-PACK 在大模型输入前保留音频并利用本地动态压缩视频，并在大模型内部逐步修剪低相关的音视频词元及其对应的 KV 缓存条目。实验表明，该方法在 Qwen2.5-Omni-7B/3B 模型上实现了最高 78% 的预填充 FLOPs 降低以及 2.21 倍的解码吞吐量提升。

执行摘要

  • 作者： Kyeongyoon Lee, Hongyeob Kim, Youngeun Kim, Sungeun Hong
  • 发布时间： 2026年8月9日
  • 主要学科： 人工智能 (cs.AI)
  • 标识符： arXiv:2608.08794 [cs.AI], DOI: 10.48550/arXiv.2608.08794

Executive Summary

  • Authors: Kyeongyoon Lee, Hongyeob Kim, Youngeun Kim, Sungeun Hong
  • Published: August 9, 2026
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Identifiers: arXiv:2608.08794 [cs.AI], DOI: 10.48550/arXiv.2608.08794

摘要

全能模态大模型（Omni-LLMs）能够联合处理音频、视频和文本输入。然而，处理长的多模态序列会带来显著的计算负担，特别是在预填充计算和键值（KV）缓存成本方面。

传统的多模态压缩方法通常严格侧重于大模型输入前的词元缩减，而忽视了跨大模型边界的模态特定压缩。为了解决这一问题，作者提出了 A-PACK，这是一个创新的两阶段框架，它将音频修剪延迟到查询条件下的多模态交互积极显现的阶段。

Abstract

Omni-modal Large Language Models (LLMs) are capable of jointly processing audio, video, and text inputs. However, handling long multimodal sequences creates significant computational burdens, particularly regarding prefill computation and Key-Value (KV) cache costs.

Traditional omni-modal compression methods usually focus strictly on pre-LLM token reduction, while neglecting modality-specific compression across the LLM boundary. To address this, the authors propose A-PACK, an innovative two-stage framework that defers audio pruning until query-conditioned multimodal interactions actively emerge.

关键发现与方法论

  • 任务相关密度： 研究表明，与视频相比，音频序列具有更高的任务相关信息密度和每个词元的表征多样性。
  • 本地动态： 与标准的按词元匹配相比，本地视听动态可以作为更有效的视觉选择线索。
  • A-PACK 流水线：
  • 在进入大模型之前，保留音频并通过本地动态压缩视频。
  • 在大模型内部，逐步修剪低相关的音频和视频词元——以及它们对应的 KV 缓存条目。

Key Findings & Methodology

  • Task-Relevant Density: The study reveals that audio sequences possess a higher task-relevant information density and representational diversity per token compared to video.
  • Local Dynamics: Local audio-visual dynamics serve as significantly more effective cues for visual selection than standard token-wise matching.
  • The A-PACK Pipeline:
  • Preserves audio and compresses video using local dynamics before entering the LLM.
  • Progressively prunes low-relevance audio and visual tokens—along with their corresponding KV-cache entries—inside the LLM.

性能亮点

在 Qwen2.5-Omni-7B/3B 模型上的四个基准测试中，A-PACK 实现了： * 在所有先进的基线方法中表现出最强的平均性能。 * 预填充 FLOPs 减少高达 78%。 * 解码吞吐量提升高达 2.21 倍。

Performance Highlights

Tested across four benchmarks on the Qwen2.5-Omni-7B/3B models, A-PACK achieves: * The strongest average performance among state-of-the-art baseline methods. * A reduction in prefill FLOPs by up to 78%. * An improvement in decoding throughput by up to 2.21×.

资源链接