跳转至

HyScale：突破百万级上下文可学习稀疏注意力的长文本训练系统

HyScale: Scaling Long-Context Training for Learned Sparse Attention

arXiv:2610.32057 [cs.AI]
Subjects: Artificial Intelligence (cs.AI); Distributed, Parallel, and Cluster Computing (cs.DC)
Authors: Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai
Submitted: 23 October 2026
DOI / Paper: 10.48550/arXiv.2610.32057
Links: View PDF | arXiv Abstract

文章背景与核心概要

随着大语言模型 (Large Language Model, LLM) 向百万级甚至更高长文本演进，传统注意力机制二次方复杂度的计算与显存开销已成为制约模型拓展的核心瓶颈，以 DeepSeek-V3.2 为代表的工业界前沿架构纷纷转向基于学习的稀疏注意力 (Learned Sparse Attention) 机制。然而，现有的训练系统在处理稀疏注意力时面临严重的“打分与重计算瓶颈”——为了选出最相关的少数 Token，系统仍需对历史所有 Token 全量打分并物化庞大的中间打分矩阵，且在激活值重计算阶段冗余重复整个筛选过程。针对这一工程难题，来自香港科技大学、爱丁堡大学与北京大学等机构的研究团队推出了专为可学习稀疏注意力定制的长文本分布式训练系统 HyScale。HyScale 开创性地提出了实时精确筛选 Top-\(k\) 的无中间表算子 HyTopK，并结合在前向传播与反向重计算间高效复用索引决策的选择重放 (Selection Replay) 机制，彻底消除了显存物化瓶颈。在 512 张 H20 GPU 集群与 32 张 H800 GPU 集群上的实测表明，HyScale 在 100 万 Token 序列长度下将 GLM-5.1、DeepSeek-V4-Flash 及 Qwen3.8-Flash-Next 等主流模型的训练速度提升了 1.57 至 2.07 倍，为超长上下文大模型的高效预训练与后训练开辟了全新的系统架构路径。

内容概要

Summary

HyScale 是一套开创性的长上下文训练系统，专门用于攻克可学习稀疏注意力架构固有的训练性能瓶颈。自从 DeepSeek-V3.2 问世以来，这类可学习稀疏注意力架构在处理百万级 Token 上下文时已显现出巨大威力，并迅速成为主流模型的核心基石。

HyScale is a novel long-context training system designed to address the training bottlenecks inherent in learned sparse attention architectures (which have become prominent for million-token contexts since DeepSeek-V3.2).

虽然稀疏注意力模型在处理每个查询 (Query) 时仅仅需要读取最关键的 \(k\) 个 Token，但现有的传统训练系统依然会对之前的每个历史 Token 进行全量打分。这便催生了极其沉重的打分性能瓶颈：系统不仅必须在显存中物化生成庞大的完整打分表，而且在激活值重计算 (Recomputation) 阶段还会冗余地重复整个筛选过程。为此，HyScale 创新性地引入了两大关键技术机制：

  1. HyTopK 算子：无需在显存中生成任何中间打分表，即可在流式计算中为每个查询 (Query) 实时、精确地计算出前 \(k\) 个 (Top-\(k\)) 关键 Token。
  2. 选择重放 (Selection Replay)：在激活值重计算阶段直接复用前向传播中已保存的索引筛选决策，避免无谓的重复计算。

While sparse attention models only read \(k\) tokens per query, conventional systems still score every previous token, creating a massive scoring bottleneck that materialize full score tables and redundantly repeat selection processes during recomputation. HyScale introduces two key mechanisms: 1. HyTopK: Computes exact top-\(k\) tokens on the fly for each query without needing an intermediate score table. 2. Selection Replay: Reuses forward-pass selection outcomes during recomputation stages.

结合全方位的端到端系统级协同优化，HyScale 显著提振了超长文本模型的训练性能：

  • GLM-5.1 (在 512 张 H20 GPU 上训练 100 万 Token 序列)：相较于 Megatron-LM 实现了 2.07 倍 的显著加速。
  • DeepSeek-V4-Flash CSA 稀疏注意力层 (在 32 张 H800 GPU 上处理 100 万 Token 序列)：实现 2.01 倍 加速。
  • Qwen3.8-Flash-Next QSA 稀疏注意力层 (在 32 张 H800 GPU 上处理 100 万 Token 序列)：实现 1.57 倍 加速。

Combined with holistic system optimizations, HyScale dramatically accelerates training performance: * GLM-5.1 (1M-token sequences on 512 H20 GPUs): 2.07× speedup over Megatron-LM. * DeepSeek-V4-Flash CSA layers (1M tokens on 32 H800 GPUs): 2.01× speedup. * Qwen3.8-Flash-Next QSA layers (1M tokens on 32 H800 GPUs): 1.57× speedup.

论文元数据

Metadata

  • arXiv 论文编号： arXiv:2610.32057 [cs.AI]
  • 主要研究领域： 人工智能 (cs.AI)；分布式、并行与集群计算 (cs.DC)
  • 提交时间： 2026 年 10 月 23 日
  • 数字对象唯一标识符 (DOI) ： 10.48550/arXiv.2610.32057

论文作者

Authors

  • Yangsheng Deng
  • Xinjing Huang
  • Yulong Wang
  • Yunzhuo Liu
  • Jun Hu
  • Shuyong Tang
  • Junchi Zeng
  • Mingji Han
  • Ray Ying
  • Key Zhang
  • Luo Mai
  • Yangsheng Deng
  • Xinjing Huang
  • Yulong Wang
  • Yunzhuo Liu
  • Jun Hu
  • Shuyong Tang
  • Junchi Zeng
  • Mingji Han
  • Ray Ying
  • Key Zhang
  • Luo Mai

论文摘要

Abstract

在本文中，我们推出了专为可学习稀疏注意力 (Learned Sparse Attention) 架构量身打造的长上下文分布式训练系统 HyScale。作为支撑百万级 Token 超长上下文的极具前景的架构，可学习稀疏注意力自 DeepSeek-V3.2 推出以来，已在工业界生产环境中得到广泛应用。然而，动态 Token 筛选机制却逐渐演变成了训练过程中的主要性能瓶颈：针对每一个查询 (Query)，系统依然需要对所有历史 Token 进行全量打分，而稀疏注意力实际上最终仅仅读取排名前 \(k\) 个 Token；更棘手的是，现有训练系统往往会在显存中物化生成完整的庞大打分矩阵，并在激活值重计算阶段机械地重复执行整套打分与筛选逻辑。

本研究的核心洞见在于：Token 筛选过程的输出本质上并不是连续的高维激活值 (Activation)，而仅仅是一组紧凑的离散索引 (Indices)。基于这一关键发现，HyScale 创新性地引入了 HyTopK 算子 与 选择重放 (Selection Replay) 机制：HyTopK 能够在不生成任何中间打分表的前提下，在流式计算中为每个查询即时找出精确的前 \(k\) 个 (Top-\(k\)) 关键 Token；而选择重放机制则在激活值重计算阶段直接复用前向传播保存的筛选索引，彻底规避了冗余计算。结合应对端到端长序列训练挑战的全局系统优化，在 512 张 H20 GPU 集群上，HyScale 将处理 100 万 Token 序列的 GLM-5.1 训练速度相比 Megatron-LM 大幅提升了 2.07 倍；同时，在 32 张 H800 GPU 集群上处理 100 万 Token 序列时，HyScale 也将 DeepSeek-V4-Flash 的 CSA 压缩稀疏注意力层与 Qwen3.8-Flash-Next 的 QSA 稀疏注意力层分别加速了 2.01 倍 与 1.57 倍。

💬 [原文摘要 / Original Abstract]:
We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however, grows into the training bottleneck. For each query, it scores every previous token whereas sparse attention reads only \(k\); worse, current systems materialize a full score table and repeat selection during recomputation. Our key insight is that the output of selection is not an activation, but rather a set of indices. Building on it, HyScale introduces HyTopK and selection replay. HyTopK finds each query's exact top-\(k\) on the fly without a score table, while selection replay reuses forward-pass selection in recomputation. Together with holistic system optimizations tackling end-to-end training challenges, HyScale speeds up GLM-5.1 training on 1M-token sequences by 2.07\(\times\) over Megatron-LM on 512 H20 GPUs. It also speeds up the CSA layers of DeepSeek-V4-Flash and the QSA layers of Qwen3.8-Flash-Next by 2.01\(\times\) and 1.57\(\times\) at 1M tokens on 32 H800 GPUs.

全文与相关资源

Full-Text & Resources