跳转至

隐式通信何时真正奏效？多智能体大模型中中继KV缓存的因果审计

文章背景与核心概要

在多智能体大模型（LLM）系统中，智能体之间往往通过中继传输键值（KV）缓存来替代明文文本，并将性能的提升归因于“隐式思维（Latent Thoughts）”的交换。然而，这种性能增益究竟来自于特定样本的有效信息传递，还是仅仅由于缓存结构本身带来的混淆效应，目前尚缺乏严格的验证。本文针对现有开源系统中的这一核心声明进行了严谨的因果审计。

通过在不同实验模式下，将真实的KV缓存替换为错排（样本不匹配）、清零以及均值匹配的随机对应物，作者评估了性能增益是否真正源于有意义的样本级信息迁移。研究结果揭示了一个微妙的现实：尽管部分系统确实通过隐式通道成功利用了私有信息，但其他系统则几乎没有表现出任何可测量的、来自样本特定配对的优势——这证明了庞大的缓存效应并不等同于有效的配对效应。该研究强调，基准测试的性能提升并不能直接证明隐式思维的传输，而必须通过作者开源的错排缓存审计工具来进行确凿的验证。

📌 摘要 (Summary)

Multi-agent Large Language Model (LLM) systems often relay key-value (KV) caches instead of plain text, attributing performance improvements to the exchange of "latent thoughts." This paper presents a causal audit of this underlying claim in existing released systems. By replacing KV caches with deranged (mismatched-example), zeroed, and moment-matched random counterparts across different regimes, the authors evaluate whether the performance gains truly stem from meaningful example-specific transfer.

多智能体大模型（LLM）系统通常中继键值（KV）缓存而非纯文本，并将性能的提升归功于交换的“隐式思维”。这种观点本质上是对“究竟中继了哪一个样本的缓存”这一决策的确信，而不仅仅是承认中继了缓存这一事实。本文对现有开源系统中这一底层主张进行了因果审计。通过在不同模式下将缓存替换为错排（样本不匹配）、清零以及均值匹配的随机对应物，作者评估了性能增益是否真正源于有意义的样本特定迁移。

Their findings reveal a nuanced reality: while some systems successfully leverage private information via latent channels, others show little to no measurable advantage from example-specific pairings, demonstrating that large cache effects do not automatically equate to valid pairing effects.

他们的研究结果揭示了一个微妙的现实：虽然某些系统成功地通过隐式通道利用了私有信息，但其他系统从样本特定配对中表现出的可测量优势却微乎其微甚至完全没有，这证明了庞大的缓存效应并不自动等于有效的配对效应。

📑 元数据与参考 (Metadata & Reference)

🔬 摘要全文 (Abstract)

Multi-agent LLM systems relay key-value caches instead of text and credit their gains to exchanged "latent thoughts." That credit is a claim about which example's cache is relayed, not merely that one is. We audit it causally in released systems. The cache is replaced with deranged (mismatched-example), zeroed, and moment-matched random counterparts, under two regimes defined by whether the receiver needs the sender's private information.

多智能体大模型系统通常中继键值缓存而不是文本，并将系统性能的提升归功于交换的“隐式思维”。这种归因本质上是对“中继了哪个样本的缓存”这一选择的确信，而不仅仅是承认存在缓存中继。我们在现有的开源系统中对这一主张进行了因果审计。在由接收方是否需要发送方私有信息所定义的两种模式下，我们将缓存替换为了错排（样本不匹配）、清零以及矩匹配（moment-matched）的随机对应物。

Where it does, the battery reads ceiling: 100% against 23–25% for answer-irrelevant relays on the primary backbone, a contrast replicated across three families, five checkpoints, and a prose document-QA surface. Where it does not, a pre-registered five-seed protocol establishes equivalence within 2.8 points, a margin anchored to the audited system's reported gain, under Holm-corrected TOST on GSM8K and ARC-Challenge across three Qwen3 scales and on MedQA at 8B (one cell shows a small detected advantage inside the margin); a second family shows no detected advantage.

在接收方确实需要私有信息的场景下，测试指标达到了天花板：在主干网络上，答案无关的中继准确率为 23%–25%，而真实中继达到了 100%。这一对比在三个大模型家族、五个检查点以及散文文档问答（document-QA）界面上均得到了复现。在接收方不需要私有信息的场景下，通过预先注册的五随机种子协议，在 GSM8K 和 ARC-Challenge（跨三个 Qwen3 尺度）以及 MedQA（8B 尺度）上采用 Holm 校正的 TOST（两单侧检验），在 2.8 个百分点的等效边界内建立了等效性（该边界锚定自被审计系统报告的增益；其中一个实验单元在边界内显示出微小的检测优势）；而第二个模型家族则未检测到任何优势。

A large cache effect need not be a pairing effect. In one natural cell, zeroing the relay costs 14.7 points; a mismatched cache, 0.4. Nor is need sufficient: under the same test, delivered channels span ceiling (LatentMAS's native relay), partial (KVComm's layer subset), and no detected example-specific transfer (C2C's released projector). Benchmark deltas do not by themselves establish latent-thought transmission; establishing it takes a mismatched-cache audit, which we release.

显著的缓存效应并不一定等于配对效应。在一个自然的实验单元中，将中继清零会导致 14.7 点的性能损失，而不匹配的缓存仅导致 0.4 点。需求本身也并非充分条件：在同一测试下，不同的交付通道表现各异，涵盖了完全有效（LatentMAS 的原生中继）、部分有效（KVComm 的层子集）以及未检测到样本特定迁移（C2C 的开源投影器）。基准测试的性能差值本身并不能证明隐式思维的传输；要确凿地证明这一点，需要进行我们现已开源的不匹配缓存审计。