文章背景与核心概要

随着大语言模型（LLM）在多租户生产环境中的广泛部署，键值（KV）缓存已成为提升推理吞吐量和降低延迟的关键优化手段。然而，共享的KV缓存机制也引入了严峻的安全隐患，攻击者可以利用缓存命中的时间差来推断和重建其他租户的私密提示词。

本文介绍了 KVGov 这一治理层，它通过对不同主体的缓存键进行密码学隔离，有效防御了此类侧信道攻击（如 PROMPTPEEK、EarlyBird 和 InputSnatch）。通过引入每主体盐值（per-principal salt）以及策略性审计调度器，KVGov 成功阻断了信息泄漏路径，同时保留了前缀缓存约 93% 的性能收益。

Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference

Authors: Tejasvi C. Addagada
Date: August 10, 2026
Subject: Cryptography and Security (cs.CR); Artificial Intelligence (cs.AI)
arXiv: 2608.09225

Summary

The Key-Value (KV) cache is a critical optimization for LLM inference, but its shared nature in multi-tenant environments introduces a severe security vulnerability. Adversaries can exploit timing differences in cache hits to reconstruct the private prompts of other tenants. This paper introduces KVGov, a governance layer designed to mitigate these side-channel attacks (such as PROMPTPEEK, EarlyBird, and InputSnatch) by cryptographically isolating cache keys across different principals. By implementing a per-principal salt and a strategic audit scheduler, KVGov effectively neutralizes the leakage path while maintaining 93% of the performance benefits associated with prefix caching.

键值（KV）缓存是大语言模型推理的关键优化手段，但在多租户环境下的共享特性却带来了严重的安全性漏洞。攻击者可以利用缓存命中的时间差异来重建其他租户的私有提示词。本文引入了 KVGov 这一治理层，旨在通过跨不同主体对缓存键进行密码学隔离，来缓解这些侧信道攻击（如 PROMPTPEEK、EarlyBird 和 InputSnatch）。通过实现基于每个主体的盐值（per-principal salt）和一个策略性审计调度器，KVGov 有效中和了泄漏路径，同时保持了前缀缓存约 93% 的性能收益。

Key Research Findings

• The Vulnerability: The research confirms that the KV cache is highly exploitable at production scale. Experiments on NVIDIA A100 hardware (vLLM 0.26.0) and independent replication on Apple Metal demonstrate a clear, measurable timing signal that allows for the reconstruction of private data.
• The Solution (KVGov):
  • Cryptographic Isolation: Uses a per-principal salt (\(\sigma_p = \text{HMAC}_K(\text{secret}, \text{principal\_id})\)) to seed the block-hash chain, ensuring cache keys are disjoint between tenants.
  • Strategic Scheduling: Introduces ORIGAMI, a Stackelberg water-filling audit scheduler that reduces an adversary's expected utility by 12.6%.
  • Stability Analysis: Provides an evolutionary stability model, identifying a 31.6% adversary-prevalence tipping point below which global caching remains secure and stable.
• Efficiency: The defense is highly efficient; by injecting the salt only at the point where prompts diverge rather than at the chain root, the system retains approximately 93% of the original prefix-cache throughput benefits.

• 漏洞情况： 研究证实，KV cache 在生产规模下极易受到攻击。在 NVIDIA A100 硬件（vLLM 0.26.0）上的实验以及在 Apple Metal 上的独立复现表明，存在清晰、可测量的定时信号，从而允许重建私有数据。
• 解决方案（KVGov）：
  • 密码学隔离： 使用每个主体的盐值（\(\sigma_p = \text{HMAC}_K(\text{secret}, \text{principal\_id})\)）来为块哈希链设定种子，确保租户之间的缓存键互不相交。
  • 策略性调度： 引入了 ORIGAMI（一种 Stackelberg 注水审计调度器），将攻击者的期望效用降低了 12.6%。
  • 稳定性分析： 提供了演化稳定性模型，确定了 31.6% 的攻击者流行度临界点，在该临界点以下，全局缓存保持安全和稳定。
• 效率表现： 该防御机制非常高效；通过仅在提示词发散点而不是在链的根部注入盐值，系统保留了原始前缀缓存吞吐量约 93% 的性能收益。

Technical Metadata

属性	详情
评论	12 页，5 个图表，9 个表格。
实现	在 NVIDIA A100（vLLM 0.26.0）上进行测量；在 Apple Metal 上进行复现。
许可证	知识共享署名 4.0 国际许可协议
DOI	10.48550/arXiv.2608.09225

Access the Paper

• View PDF
• HTML (Experimental)
• TeX Source

访问论文

• 查看 PDF
• HTML 格式（实验性）
• TeX 源码