跳转至

文章背景与核心概要

高效的大语言模型（LLM）服务经常受到需要将序列填充（padding）至固定最大长度这一要求的瓶颈限制，从而导致计算资源的浪费和吞吐量的下降。准确的输出长度预测能够实现长度感知的调度，从而减轻这种开销——这对于长文本推理和强化学习应用尤为关键。

诸如熵引导的Token池化（entropy-guided token pooling）等传统方法主要依赖逐Token的熵（token-wise entropy），往往忽略了不同Token之间的语义差异。因此，关键Token的权重被低估，而信息稀疏的Token却获得了不成比例的重视，这破坏了预测的可靠性。为了解决这一问题，作者引入了 ESTP（Entropy-and-Semantic Token Pooling，熵与语义Token池化），这是一个轻量级框架，它将Token熵与直接从LLM预填充（prefill）阶段计算出的自注意力权重中派生出的基于注意力的重要性分数结合起来。通过复用预填充激活值，ESTP引入了微不足道的内存开销和极小的延迟，在ForeLen基准测试中超越了基线方法的准确率和错误率，并在集成到长度感知调度系统时提升了整体吞吐量。

当熵不再足够：在大语言模型输出长度预测中找回丢失的语义 (When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction)

arXiv ID: arXiv:2608.15592 [cs.AI]
DOI: 10.48550/arXiv.2608.15592
Authors: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen
Submitted: August 16, 2026 (Last revised August 24, 2026)

摘要 (Summary)

Efficient Large Language Model (LLM) serving is frequently bottlenecked by the requirement to pad sequences to a fixed maximum length, leading to wasted computational resources and degraded throughput. Accurate output length prediction enables length-aware scheduling, mitigating this overhead—a benefit particularly crucial for long-context reasoning and reinforcement learning applications.

高效的大语言模型（LLM）服务经常受到需要将序列填充至固定最大长度这一要求的瓶颈限制，从而导致计算资源的浪费和吞吐量的下降。准确的输出长度预测能够实现长度感知的调度，从而减轻这种开销——这对于长文本推理和强化学习应用尤为关键。

Traditional approaches like entropy-guided token pooling rely primarily on token-wise entropy, often overlooking semantic differences across tokens. Consequently, critical tokens are underweighted while information-sparse tokens receive disproportionate emphasis, undermining prediction reliability. To resolve this, the authors introduce ESTP (Entropy-and-Semantic Token Pooling), a lightweight framework that combines token entropy with attention-based importance scores derived directly from self-attention weights computed during the LLM prefill phase. By reusing prefill activations, ESTP introduces negligible memory overhead and minimal latency, outperforming baseline methods in accuracy and error rates on the ForeLen benchmark and improving overall throughput when integrated into length-aware scheduling systems.

诸如熵引导的Token池化等传统方法主要依赖逐Token的熵，往往忽略了不同Token之间的语义差异。因此，关键Token的权重被低估，而信息稀疏的Token却获得了不成比例的重视，这破坏了预测的可靠性。为了解决这一问题，作者引入了 ESTP（熵与语义Token池化），这是一个轻量级框架，它将Token熵与直接从LLM预填充阶段计算出的自注意力权重中派生出的基于注意力的重要性分数结合起来。通过复用预填充激活值，ESTP引入了微不足道的内存开销和极小的延迟，在ForeLen基准测试中超越了基线方法的准确率和错误率，并在集成到长度感知调度系统时提升了整体吞吐量。

元数据 (Metadata)

  • 主要学科： 人工智能 (cs.AI)
  • 许可证： 知识共享署名 4.0 国际
  • 提交历史：
  • [v1] 2026年8月16日 星期日 07:28:15 UTC (1,147 KB)
  • [v2] 2026年8月24日 星期一 08:08:10 UTC (1,142 KB)

访问与资源 (Access and Resources)