TEMPO：跨内存和计算瓶颈区感知完工时间的专家并行负载均衡
文章背景与核心概要
在大模型推理（如混合专家模型 MoE）的专家并行（EP）服务中，传统的负载均衡器通常假设专家执行时间与 Token 数量呈线性扩展。然而，对现代 GPU 代际的实际测量揭示了一种双机制（dual-regime）的现实：在某个特定的 Token 阈值以下（\(N^* \approx 156\text{--}168\)），高带宽内存（HBM）的权重流传输占据主导地位，这使得开销与激活的副本数相关，而非 Token 数量。而在此阈值之上，分组 GEMM（grouped GEMM）操作会通过 128 瓦片（\(M\)-tile）引入计算填充（compute padding），导致专家拆分的效率变低。
为了解决这一问题，TEMPO 将每批次的调度建模为一个具有固定费用的完工时间（makespan）问题——该问题在两个完全复制的 GPU 上是 NP-hard 的，但在退化极限下是多项式的。TEMPO 引入了一种感知完工时间的调度器，它在毫秒级的关键路径之外运行，并与 SGLang 原生集成，将调度和计数收集融合成一个单一的图内内核（in-graph kernel）。
论文表明，相较于盲目追求全局通用的方案，通过相图（phase diagram）可以可靠地预测工作负载的效率： * 微基准测试： TEMPO 在所有场景下的性能均保持在最优固定基准的 1% 以内，在混合机制工作负载中性能提升高达 15.5%。 * 端到端性能： 在 Qwen3-235B 模型上（处于最优获益区间），TEMPO 将吞吐量提高了 4–6%，并将 p99 延迟降低了约 15.6%。对于以通信为主导的模型（如 DeepSeek-V3，位于该区间之外），它仅引入微乎其微的基准机制开销。
TEMPO: Makespan-Aware Expert-Parallel Load Balancing Across Memory- and Compute-Bound Regimes
TEMPO: Makespan-Aware Expert-Parallel Load Balancing Across Memory- and Compute-Bound Regimes
Summary
Summary
在专家并行（EP）混合专家模型（MoE）服务中，负载均衡器传统上假设专家执行时间与 Token 数量呈线性比例缩放。然而，对现代 GPU 代际的测量揭示了一个双机制的现实：在某个 Token 阈值以下（\(N^* \approx 156\text{--}168\)），高带宽内存（HBM）权重流传输占据主导，从而将成本绑定在激活的副本（activated replicas）而非 Token 上。高于此阈值时，分组 GEMM 操作通过 128 瓦片（\(M\)-tiles）引入计算填充（compute padding），使得专家拆分（splitting）效率降低。
In expert-parallel (EP) Mixture-of-Experts (MoE) serving, load balancers traditionally assume that expert execution time scales linearly with token count. However, measurements across modern GPU generations reveal a dual-regime reality: below a certain token threshold (\(N^* \approx 156\text{--}168\)), High Bandwidth Memory (HBM) weight streaming dominates, tying costs to activated replicas rather than tokens. Above this threshold, grouped GEMM operations introduce compute padding via 128-tile \(M\)-tiles, making expert splitting less efficient.
为了应对这一挑战，TEMPO 将每批次（per-batch）调度建模为具有固定费用的完工时间问题——这在两个完全复制的 GPU 上是 NP-hard 的，但在退化极限下是多项式的。TEMPO 引入了一种感知完工时间的调度器，它在毫秒级的关键路径之外运行，并与 SGLang 原生集成，将调度和计数收集融合成一个单一的图内内核（in-graph kernel）。
To address this, TEMPO models per-batch dispatching as a fixed-charge makespan problem—which is NP-hard on two fully replicated GPUs, though polynomial in degenerate limits. TEMPO introduces a makespan-aware dispatcher that operates off the critical path in milliseconds, integrating natively with SGLang to fuse dispatch and count collection into a single in-graph kernel.
论文证明，相图（phase diagram）可以可靠地预测工作负载的效率，而不是提供一个普遍适用的胜出方案： * 微基准测试： TEMPO 在所有地方都保持在最佳固定基准的 1% 以内，在混合机制工作负载中性能提升高达 15.5%。 * 端到端性能： 在 Qwen3-235B（处于最佳胜出区域）上，TEMPO 将吞吐量提高了 4–6%，并将 p99 延迟降低了约 15.6%。对于像 DeepSeek-V3 这样以通信为主导的模型（位于该区域之外），它仅产生基准机制开销。
The paper demonstrates that rather than providing a universal win, a phase diagram can reliably predict workload efficiency: * Microbenchmarks: TEMPO stays within 1% of the best fixed baseline everywhere, and outperforms it by up to 15.5% in mixed-regime workloads. * End-to-End Performance: On Qwen3-235B (inside the optimal win region), TEMPO improves throughput by 4–6% and reduces p99 latency by ~15.6%. For communication-dominated models like DeepSeek-V3 (outside the region), it incurs only baseline mechanism costs.
Document Metadata
Document Metadata
- arXiv ID:
arXiv:2608.13057[cs.DC] - 学科分类: 分布式、并行与集群计算 (
cs.DC)；人工智能 (cs.AI)；计算与语言 (cs.CL)；计算机科学与博弈论 (cs.GT) - 提交日期: 2026年8月13日
- 作者: Jie Li, Chenxin Jia, Jinliang Shen, Cunzhuang Liu, Ruiyi Ding, Jianwen Xian, Kang He, Chengru Song
- 代码仓库: GitHub - jeshxxx/TEMPO
- 许可证: 知识共享署名 4.0 国际许可协议
- arXiv ID:
arXiv:2608.13057[cs.DC]- Subjects: Distributed, Parallel, and Cluster Computing (
cs.DC); Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computer Science and Game Theory (cs.GT)- Submission Date: August 13, 2026
- Authors: Jie Li, Chenxin Jia, Jinliang Shen, Cunzhuang Liu, Ruiyi Ding, Jianwen Xian, Kang He, Chengru Song
- Code Repository: GitHub - jeshxxx/TEMPO
- License: Creative Commons Attribution 4.0 International
Access & Resources
Access & Resources
引用与外部参考
Citations & External References