跳转至

文章背景与核心概要

提取式提示词压缩是通过剪枝低信息量 Token 来降低大语言模型（LLM）推理成本的常用技术。尽管像 LLMLingua-2 这样的模型在英语任务中展现出了令人瞩目的效果，但本文深入探讨了这些优势是否能够延伸至其他语言——而这些非英语语种本身就已经遭受了“Token 溢价”的困扰（其 Token 消耗量通常是英语的 1.3 到 1.8 倍）。

通过对 10 种语言、11 个目标模型进行超过 25 万次评估调用的广泛审计，作者揭示了一个显著的“迁移鸿沟”。研究发现，基于英语训练的压缩器在非英语语言上的表现较差，往往会导致严重的有效信息丢失。研究最后得出结论：英语之外的安全压缩预算要显著小得多，并指出对于非英语任务，“先翻译后压缩”的流水线方案通常优于原生压缩。

迷失于压缩：提取式提示词压缩器跨语言受控审计 (Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors)

作者： Mantas Lukauskas
日期： 2026年7月27日
主题： 计算与语言 (cs.CL)；人工智能 (cs.AI)
DOI： 10.48550/arXiv.2608.26175

摘要 (Summary)

Extractive prompt compression is a popular technique for reducing Large Language Model (LLM) inference costs by pruning low-information tokens. While models like LLMLingua-2 show impressive results in English, this paper investigates whether these benefits extend to other languages, which already suffer from a "token premium" (costing 1.3–1.8x more tokens than English).

提取式提示词压缩是通过剪枝低信息量 Token 来降低大语言模型（LLM）推理成本的常用技术。尽管像 LLMLingua-2 这样的模型在英语任务中展现出了令人瞩目的效果，但本文深入探讨了这些优势是否能够延伸至其他语言——而这些非英语语种本身就已经遭受了“Token 溢价”的困扰（其 Token 消耗量通常是英语的 1.3 到 1.8 倍）。

Through an extensive audit involving over 250,000 evaluation calls across ten languages and eleven target models, the author reveals a significant "transfer gap." The study finds that English-trained compressors perform poorly on non-English languages, often leading to severe data loss. The research concludes that safe compression budgets are significantly smaller outside of English and suggests that "translate-then-compress" pipelines often outperform native compression for non-English tasks.

通过对 10 种语言、11 个目标模型进行超过 25 万次评估调用的广泛审计，作者揭示了一个显著的“迁移鸿沟”。研究发现，基于英语训练的压缩器在非英语语言上的表现较差，往往会导致严重的数据丢失。研究最后得出结论：英语之外的安全压缩预算要显著小得多，并指出对于非英语任务，“先翻译后压缩”的流水线方案通常优于原生压缩。

核心发现 (Key Findings)

1. 现实世界中的迁移鸿沟 (The Real-World Transfer Gap)

The study confirms that the performance gap is real and highly rate-dependent. At a 0.33 keep-rate, English retains 57–62% of its normalized context utilization, whereas Lithuanian retains only 10–24% and Chinese effectively loses all context utility, despite Chinese having a relatively small token premium.

研究证实，性能差距是真实存在的，且高度依赖于保留率（rate-dependent）。在保留率为 0.33 时，英语能保留 57%–62% 的归一化上下文利用率，而立陶宛语仅能保留 10%–24%，中文则几乎完全失去了所有上下文效用——尽管中文的 Token 溢价相对较小。

2. 监督数据与模型架构的对比 (Supervision Data vs. Architecture)

The performance gap is driven by the language of the training data rather than the model architecture. * English-trained compressors: All show a significant performance drop in non-English languages. * Deterministic methods: Show no comparable language-specific gap. * Multilingual training: The model XProvence v1 showed no gap, though its successor, v2 (retrained on translated data), exhibited aggressive and problematic data loss in Chinese contexts.

性能差距是由训练数据的语言决定的，而不是由模型架构决定的。 * 英语训练的压缩器： 在非英语语言中均表现出显著的性能下降。 * 确定性方法（Deterministic methods）： 没有表现出可比的特定语言鸿沟。 * 多语言训练： 模型 XProvence v1 未表现出鸿沟，但其继任者 v2（在翻译数据上重新训练）在中文语境下表现出了激进且有问题的严重数据丢失。

3. 长文本性能表现 (Long-Context Performance)

In challenging long-context scenarios, aggressive learned compression often reduces the utility of the prompt to levels at or below "no-context" baselines for most non-English languages.

在具有挑战性的长文本场景中，对于大多数非英语语言而言，激进的学习型压缩往往会将提示词的效用降低到“无上下文”基线或更低的水平。

license icon （注：根据源元数据提供许可图标以供参考）

引用 (Citation)

如果您使用了本项工作，请按下述格式引用：

Lukauskas, M. (2026). Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors. arXiv:2608.26175 [cs.CL].