文章背景与核心概要
大语言模型（LLM）的推理延迟一直是限制其大规模实时应用的关键瓶颈。投机解码（Speculative Decoding）作为一种主流的加速技术，通过引入一个轻量级的“草稿模型”来并行生成多个候选标记（tokens），再由强大的“目标模型”进行并行验证，从而在不损失生成质量的前提下显著提升吞吐量。然而，传统投机解码的性能往往受限于草稿模型：如果草稿模型的分布与目标模型差距较大，接受率就会骤降，导致加速效果大打折扣。
为了突破这一瓶颈，这篇被 ICML 2026 接收的论文引入了 OnlineSPEC 框架。该研究敏锐地洞察到，投机解码过程中的“验证”环节实际上天然地为草稿模型提供了免费且丰富的反馈信号。基于此，作者将在线学习（Online Learning）范式引入其中，通过动态遗憾最小化（dynamic regret minimization）、乐观在线学习（optimistic online learning）以及在线集成学习（online ensemble learning），使草稿模型能够在推理过程中实现持续进化。实验表明，该方法在多个基准测试和基础模型上实现了高达 24% 的额外加速，为大模型的高效推理开辟了新途径。
当草稿模型在进化：投机解码与在线学习的完美结合 (When Drafts Evolve: Speculative Decoding Meets Online Learning)
arXiv: 2603.12617
会议: ICML 2026
作者: Yu-Yang Qian, Hao-Cong Wu, Yichao Fu, Hao Zhang, Peng Zhao
摘要 (Summary)
投机解码是一种加速大语言模型（LLM）推理的强大技术，它使用轻量级的“草稿模型”来提出标记，并由更大的“目标模型”进行验证。然而，该方法的性能往往受到草稿模型无法准确逼近目标分布这一瓶颈的制约。
Speculative decoding is a powerful technique for accelerating Large Language Model (LLM) inference by using a lightweight "draft model" to propose tokens that a larger "target model" verifies. However, the performance of this method is often bottlenecked by the draft model's inability to accurately approximation the target distribution.
本文介绍了 OnlineSPEC，这是一个将投机解码过程视为迭代反馈循环的新颖框架。通过认识到验证过程为草稿模型的性能提供了“免费”的反馈，作者应用在线学习范式使草稿模型能够持续适应。该框架利用动态遗憾最小化、乐观在线学习和在线集成学习来提高加速率，在各种基准测试和基础模型中实现了高达 24% 的加速。
This paper introduces OnlineSPEC, a novel framework that treats the speculative decoding process as an iterative feedback loop. By recognizing that the verification process provides "free" feedback on the draft model's performance, the authors apply online learning paradigms to allow the draft model to adapt continuously. The framework utilizes dynamic regret minimization, optimistic online learning, and online ensemble learning to improve acceleration rates, achieving up to a 24% speedup across various benchmarks and foundation models.
核心贡献 (Key Contributions)
- 概念框架： 建立了投机解码的“草稿-验证”循环与在线学习范式之间的形式化连接。
- OnlineSPEC 框架： 一个利用交互式验证反馈实时演进草稿模型的统一系统。
- 算法创新：
- 乐观在线学习： 利用历史梯度作为预测提示，以提高更新效率。
- 在线集成学习： 动态维护多个草稿模型，以更好地处理多样化的生成任务。
- 性能表现： 为该方法提供了理论依据，与标准投机解码方法相比，实现了 24% 的性能提升。
- Conceptual Framework: Establishes a formal connection between the "draft-verify" loop of speculative decoding and the online learning paradigm.
- OnlineSPEC Framework: A unified system that leverages interactive verification feedback to evolve draft models in real-time.
- Algorithmic Innovation:
- Optimistic Online Learning: Uses historical gradients as predictive hints to improve update efficiency.
- Online Ensemble Learning: Dynamically maintains multiple draft models to better handle diverse generation tasks.
- Performance: Provides theoretical justifications for the approach, resulting in a demonstrated 24% speedup over standard speculative decoding methods.
论文元数据 (Paper Metadata)
| 详细信息 (Detail) | 内容 (Information) |
|---|---|
| 主要学科 | 机器学习 (cs.LG) |
| 次要学科 | 人工智能 (cs.AI) |
| 提交时间 | 2026年3月13日 |
| 最后修订 | 2026年8月6日 |
| DOI | 10.48550/arXiv.2603.12617 |
Detail Information Primary Subject Machine Learning (cs.LG) Secondary Subject Artificial Intelligence (cs.AI) Submitted 13 March 2026 Last Revised 6 August 2026 DOI 10.48550/arXiv.2603.12617