文章背景与核心概要
推测解码（Speculative Decoding）通过利用轻量级草稿模型来加速自回归大语言模型（LLM）的推理过程，是当前提升生成效率的关键技术。然而，在内存受限的边缘设备上，频繁切换不同草稿模型所带来的开销往往会抵消性能增益，导致系统效率低下。
MemSpec 提出了一种新颖的内存感知运行时系统，旨在解决这一矛盾。该系统通过将草稿模型的选择与执行解耦，并采用预测引导的方法来管理驻留工作集，配合能够最小化模型加载开销的调度器，成功在 Jetson Orin Nano 等硬件上实现了 40.7% 的平均生成吞吐量提升。MemSpec 有效弥合了自适应调度需求与边缘硬件资源约束之间的鸿沟，为边缘侧高效推理提供了新的解决方案。
MemSpec：面向边缘设备推测解码自适应草稿调度的内存感知运行时
作者： Eunjeong Kim, Yeong Jun Jeon, Myeonggyun Han
发表于： Proc. ACM LCTES 2026, 180-192 (2026)
arXiv ID： 2608.10362
日期： 2026年8月11日
MemSpec: Memory-Aware Runtime for Adaptive Draft Scheduling in Speculative Decoding on Edge Devices
Authors: Eunjeong Kim, Yeong Jun Jeon, Myeonggyun Han
Published: Proc. ACM LCTES 2026, 180-192 (2026)
arXiv ID: 2608.10362
Date: 11 August 2026
摘要
推测解码是一种通过利用轻量级草稿模型来加速自回归大语言模型（LLM）推理的强大技术。然而，在内存受限的边缘设备上，在不同草稿模型之间切换的开销往往会抵消性能增益。MemSpec 引入了一种新颖的内存感知运行时，将草稿选择与执行解耦。通过采用预测引导的方法来管理驻留工作集，并使用一种最小化模型加载开销的调度器，MemSpec 在 Jetson Orin Nano 等硬件上的稳态生成吞吐量平均提高了 40.7%，有效地弥合了自适应调度与硬件约束之间的差距。
Summary
Speculative decoding is a powerful technique to accelerate autoregressive Large Language Model (LLM) inference by utilizing lightweight draft models. However, on memory-constrained edge devices, the overhead of switching between different draft models often negates the performance gains. MemSpec introduces a novel, memory-aware runtime that decouples draft selection from execution. By employing a prediction-guided approach to manage the resident working set and a scheduler that minimizes model-loading overhead, MemSpec achieves a 40.7% average improvement in steady-state generation throughput on hardware like the Jetson Orin Nano, effectively bridging the gap between adaptive scheduling and hardware constraints.
核心功能
- 主动工作集管理： 将草稿模型的选择与实际执行解耦，以防止内存抖动。
- 上下文感知预测： 使用轻量级预测器根据特定的提示词和生成上下文来评估草稿的有效性。
- 内存感知调度： 减少了边缘硬件上通常与加载和交换模型相关的响应式开销。
- 性能表现： 接近推测解码的预言机（Oracle）上限，显著优于现有的基于多臂老虎机（Bandit）的自适应方法。
Key Features
- Proactive Working-Set Management: Decouples the selection of draft models from the actual execution to prevent memory thrashing.
- Context-Aware Prediction: Uses a lightweight predictor to estimate draft effectiveness based on the specific prompt and generation context.
- Memory-Aware Scheduling: Reduces the reactive overhead typically associated with loading and swapping models on edge hardware.
- Performance: Approaches the oracle upper bound for speculative decoding, significantly outperforming existing bandit-based adaptive methods.
元数据与访问
| 类别 | 详情 |
|---|---|
| 主要学科 | 操作系统 (cs.OS) |
| 次要学科 | 人工智能 (cs.AI) |
| DOI | 10.48550/arXiv.2608.10362 |
| 相关 DOI | 10.1145/3814943.3816174 |
Metadata & Access
Category Details Primary Subject Operating Systems (cs.OS) Secondary Subject Artificial Intelligence (cs.AI) DOI 10.48550/arXiv.2608.10362 Related DOI 10.1145/3814943.3816174
全文链接
Full-Text Links
许可协议
License