跳转至

UltraQuant：面向重度上下文智能体的 4-bit KV Cache 压缩技术

UltraQuant: 4-bit KV Caching for Context-Heavy Agents

  • arXiv ID: arXiv:2606.20474 [cs.LG]
  • Authors: Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao
  • Primary Subject: Machine Learning (cs.LG)
  • Secondary Subjects: Artificial Intelligence (cs.AI), Performance (cs.PF)
  • Conference/Venue: EMNLP 2026 Industry Track (11 pages, 9 figures)
  • Submission History:
  • v1: June 18, 2026
  • v3 (Current): September 11, 2026

文章背景与核心概要

在以 Claude Code 等为代表的多轮 AI 智能体 (AI Agent) 深度交互场景中，长系统提示与历史执行记录等长前缀被频繁复用，使得键值缓存 (KV Cache) 产生的显存占用呈爆炸式激增，成为限制 GPU 吞吐与高并发服务能力的头号瓶颈。针对这一极端内存受限的工业级部署难题，研究团队提出了创新的 4-bit KV 缓存压缩框架 UltraQuant。该方案创造性地结合了非对称 K/V 量化策略、Walsh-Hadamard 旋转变换以及针对 AMD CDNA4 架构量身定制的硬件加速解码内核，在削减一半 KV 显存开销的同时，保持了几乎无损的任务精度。真实生产环境重放测试表明，UltraQuant 在长上下文与高并发压力下实现了相比原生 BF16 最高 4.38 倍的有效请求吞吐量提升，为大规模落地智能体推理提供了高性价比的硬件级解法。

📌 内容概要

Summary

UltraQuant 是一套专为在显存受限与高并发严苛条件下运行的“重度上下文” AI 智能体 (AI Agent) 所设计的全新 4 位键值缓存 (KV Cache) 压缩框架。通过将下游任务质量、缓存常驻留存率以及线上推理服务吞吐量进行联合端到端优化，UltraQuant 彻底破解了多轮智能体工作流中因超长文本前缀被反复调用而导致的巨大显存压力难题。

UltraQuant is a novel 4-bit key-value (KV) cache compression framework designed specifically for context-heavy AI agents operating under memory-constrained, high-concurrency conditions. By jointly optimizing task quality, cache residency, and serving throughput, UltraQuant addresses the massive memory pressure introduced by multi-round agent workflows where long text prefixes are repeatedly reused.

其核心技术亮点包括：

Key technical highlights include:

  • 鲁棒的 4-bit 量化设计 (Robust 4-bit Design) ： 采用针对 K 与 V 张量的非对称处理方案、Walsh-Hadamard 旋转变换、移除 QJL (Quick Johnson-Lindenstrauss) 以及分块缩放 (Block-Scale) 变体设计。
  • 硬件加速服务优化 (Hardware-Accelerated Serving) ： 引入了高度优化的解码注意力内核算子，并为基于 CDNA4 架构的 AMD GPU 量身打造了 FP4 近似计算路径 (支持 FP8 查询、FP4 KV 张量、UE8M0 分组缩放系数以及原生的 Scaled-MFMA 指令加速) 。
  • 令人瞩目的性能飞跃 (Significant Performance Gains) ： 在真实生产环境 Claude Code 的执行轨迹回放测试中，UltraQuant 相比原生 BF16 基线取得了高达 2.71x (在 MiniMax-M2.5 上) 和 4.38x (在 Qwen3-235B 上) 的达标请求吞吐量提升，在将 KV 显存开销直接砍半的同时，性能表现比肩甚至超越了硬件级 FP8 KV 缓存。
  • Robust 4-bit Design: Uses asymmetric K/V treatment, Walsh-Hadamard rotation, removal of QJL (Quick Johnson-Lindenstrauss), and block-scale variants.
  • Hardware-Accelerated Serving: Introduces optimized decode-attention kernels and an FP4 approximation path tailored for AMD GPUs using CDNA4 architecture (featuring FP8 queries, FP4 KV tensors, UE8M0 group scales, and native scaled-MFMA support).
  • Significant Performance Gains: Replays of production Claude Code traces show UltraQuant delivers 2.71x (MiniMax-M2.5) and 4.38x (Qwen3-235B) the qualified-request throughput of standard BF16 baselines, matching or exceeding hardware FP8 KV while cutting KV memory footprint in half.

📄 论文元数据

Paper Metadata

  • arXiv 标识符： arXiv:2606.20474 [cs.LG]
  • 论文作者： Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao
  • 主学科领域： 机器学习 (cs.LG)
  • 次要学科领域： 人工智能 (cs.AI)、系统性能 (cs.PF)
  • 收录会议/期刊： EMNLP 2026 Industry Track (11 页，9 幅图表)
  • 提交历史版本：
  • v1: 2026 年 6 月 18 日
  • v3 (当前版本): 2026 年 9 月 11 日
  • arXiv ID: arXiv:2606.20474 [cs.LG]
  • Authors: Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao
  • Primary Subject: Machine Learning (cs.LG)
  • Secondary Subjects: Artificial Intelligence (cs.AI), Performance (cs.PF)
  • Conference/Venue: EMNLP 2026 Industry Track (11 pages, 9 figures)
  • Submission History:
  • v1: June 18, 2026
  • v3 (Current): September 11, 2026

🔍 论文摘要

Abstract

重度依赖上下文的智能体系统给键值缓存 (KV Cache) 带来了沉重的显存压力：长文本前缀在众多短轮次交互中被高频复用，而并发能力的高低直接决定了服务系统能否让 GPU 算力保持满载。针对这一核心应用场景，我们系统性地探索了 4-bit KV 缓存压缩技术，以 TurboQuant 风格的旋转变换与码本量化作为精度基准锚点，并以 vLLM 的 FP8 KV 缓存作为工业部署的工程锚点。本项研究主要包含三大核心贡献：

Context-heavy agents place substantial pressure on the key-value (KV) cache: long prefixes are reused across many short turns, while concurrency determines whether the serving system can keep GPUs utilized. We study 4-bit KV-cache compression for this setting, using TurboQuant-style rotation and codebook quantization as a quality anchor and vLLM FP8 KV caching as the deployment anchor. We report three contributions.

  1. 工作负载建模 (Workload Framing) ： 我们围绕多轮智能体工作负载重新构建了 4-bit KV 缓存的设计范式，在此范式下，任务完成质量、缓存驻留率与服务吞吐量必须作为一个整体进行联合评估。
  2. 鲁棒实用的工程设计 (Robust Practical Design) ： 我们阐述了使 4-bit 链路保持高鲁棒性所必需的工程设计抉择，包括针对 K/V 张量的非对称处理、Walsh-Hadamard 旋转变换、舍弃 QJL 方案以及引入分块缩放变体。
  3. 硬件级服务推理优化 (Hardware Serving Optimizations) ： 我们展示了针对 AMD GPU 的深度服务优化成果，包括高度优化的解码注意力内核，以及 UltraQuant 专属的 FP4 近似计算路径——该路径利用 FP8 查询、FP4 KV 张量、UE8M0 分组缩放因子，并在 CDNA4 硬件架构上提供了原生的 Scaled-MFMA 矩阵计算支持。
  1. Workload Framing: We frame 4-bit KV caching around multi-round agent workloads where task quality, cache residency, and serving throughput must be measured jointly.
  2. Robust Practical Design: We describe the practical design choices needed to make the 4-bit path robust, including asymmetric K/V treatment, Walsh-Hadamard rotation, QJL removal, and block-scale variants.
  3. Hardware Serving Optimizations: We present serving optimizations on AMD GPUs, including optimized decode-attention kernels and UltraQuant, an FP4 approximation path that uses FP8 queries, FP4 KV tensors, UE8M0 group scales, and native scaled-MFMA support on CDNA4.

在对真实生产环境 Claude Code 追踪轨迹的自适应 SLO (Adaptive-SLO) 回放测试中，UltraQuant 相比 BF16 基线分别达成了 2.71x (搭载 MiniMax-M2.5) 与 4.38x (搭载 Qwen3-235B) 的达标请求吞吐量，在仅占用一半 KV 字节空间的情况下，性能比肩甚至超越了硬件级 FP8 KV 方案。UltraQuant 在长上下文、高并发且内存严重受限的服务场景中能够发挥出极其巨大的加速效益。

On an adaptive-SLO replay of production Claude Code traces, UltraQuant sustains 2.71x (MiniMax-M2.5) and 4.38x (Qwen3-235B) the qualified-request throughput of the BF16 baseline, matching or exceeding hardware FP8 KV while using half the KV bytes. UltraQuant delivers its largest gains in long-context, high-concurrency, memory-constrained serving regimes.

🔗 访问与资源链接

Access & Resources