GLM-5.3-Flash 对比 Qwen3.8-Flash-Next：两家中国 AI 实验室如何独立收敛于相同的模型架构

文章背景与核心概要

在短短一周内，中国两家知名的 AI 实验室 Z.ai 与阿里巴巴的通义千问（Qwen）团队各自独立发布了前沿开源模型（分别为 GLM-5.3-Flash 和 Qwen3.8-Flash-Next），两者的底层架构竟然惊人地一致。尽管两支团队是独立研发，但他们不约而同地采用了 3:1 的混合注意力模型、4 倍压缩索引器（将注意力预算上限限制在 2,000 个 Token）、四分支残差流，以及带有分离参数矩阵的 Muon 优化器。

本文深入探讨了这两款模型令人瞩目的架构收敛性、它们在位置编码上的唯一分歧点，以及 MiniMax 采取的不同路线。通过剖析这些底层技术细节，我们可以一窥当前中国开源 AI 领域在架构设计上的最新风向与交叉融合趋势。

执行摘要 (Executive Summary)

Within a single week, two prominent Chinese AI laboratories—Z.ai and Alibaba’s Qwen team—independently released frontier open-weight models (GLM-5.3-Flash and Qwen3.8-Flash-Next, respectively) that share an almost identical underlying architecture. Despite developing these systems separately, both teams converged on a 3:1 hybrid attention model, a compressed 4x indexer capping attention budgets at 2,000 tokens, a four-branch residual stream, and the Muon optimizer with split parameter matrices. This article explores their striking architectural convergence, their single point of disagreement regarding positional embeddings, and the dissenting approach taken by MiniMax.

在短短一周内，中国两家知名的 AI 实验室（Z.ai 与阿里巴巴的 Qwen 团队）各自独立发布了前沿开源模型（分别为 GLM-5.3-Flash 和 Qwen3.8-Flash-Next），两者共享了几乎完全相同的底层架构。尽管两支团队是独立开发这些系统的，但他们不约而同地收敛于 3:1 混合注意力模型、将注意力预算限制在 2,000 个 Token 的 4 倍压缩索引器、四分支残差流以及带有分离参数矩阵的 Muon 优化器。本文探讨了他们引人注目的架构收敛性、在位置编码上的单一分歧点，以及 MiniMax 所采取的不同方法。

两款新模型简述 (The Two Releases in Brief)

GLM-5.3-Flash (Z.ai): A 320B-parameter multimodal MoE model with 18B active parameters, released under the MIT license on Hugging Face. Trained on a 30T-token corpus, it supports a 1M-token context window, approaches Claude Opus 4.8 on coding/agentic benchmarks, and lists at $0.15/M input and $0.50/M output tokens.

Qwen3.8-Flash-Next (Alibaba Qwen): A preview of the Qwen4 architecture featuring a 125B main model plus a 51B n-gram embedding table, with 6B parameters activated per token. It offers a 262K native context (extensible to 1M via YaRN) and required roughly one-ninth the training compute of its predecessor.

GLM-5.3-Flash (Z.ai)： 一个拥有 3200 亿参数的多模态 MoE 模型，激活参数为 180 亿，在 Hugging Face 上以 MIT 许可证开源。该模型在 30T Token 的语料库上进行训练，支持 100 万 Token 的上下文窗口，在编程和智能体（agentic）基准测试中接近 Claude Opus 4.8，其定价为每百万输入 Token 0.15 美元、每百万输出 Token 0.50 美元。
Qwen3.8-Flash-Next (阿里 Qwen)： Qwen4 架构的预览版，采用 1250 亿的主模型加上 510 亿的 n-gram 嵌入表，每处理一个 Token 激活 60 亿参数。它提供 262K 的原生上下文（通过 YaRN 可扩展至 1M），其训练计算量仅为其前代模型的约九分之一。

收敛点 1：四分之三的注意力层是线性注意力 (Convergence Point 1: Three of Every Four Attention Layers Are Linear)

Both models utilize a 3:1 ratio of linear attention to full attention: * GLM-5.3-Flash: Stacks 45 layers—34 linear-attention layers (using Moonshot AI's Kimi Delta Attention with per-channel gating) and 11 full-attention layers. * Qwen3.8-Flash-Next: Stacks 48 layers in repeating blocks of 3 Gated DeltaNet (GDN) layers and 1 Qwen Sparse Attention (QSA) layer.

By compressing history into a fixed-size recurrent state, linear layers maintain constant compute per token regardless of context length, while the remaining quarter of layers handle precise long-range retrieval.

两款模型均采用了线性注意力与完整注意力的 3:1 比例： * GLM-5.3-Flash： 堆叠了 45 层——包含 34 层线性注意力层（使用月之暗面 Moonshot AI 的带逐通道门控的 Kimi Delta Attention）和 11 层完整注意力层。 * Qwen3.8-Flash-Next： 堆叠了 48 层，由 3 个门控 DeltaNet (GDN) 层和 1 个 Qwen 稀疏注意力 (QSA) 层组成的重复块构成。

通过将历史记录压缩为固定大小的循环状态，线性层在无论上下文长度如何的情况下都能保持恒定的每 Token 计算量，而其余四分之一的层则负责处理精确的长距离检索。

收敛点 2：压缩 4 倍、评分、保留 2048 个 Token (Convergence Point 2: Compress 4x, Score, Keep 2048 Tokens)

Neither model applies full attention uniformly over the entire context: * GLM uses a 32-head lightning indexer with top-2048 selection and introduces IndexPool to compress four indexer key vectors into one via weighted pooling. * Qwen's QSA operates at a micro-block granularity, scoring 4-token blocks and keeping the top 512 blocks (exactly 2048 tokens).

This shared pattern cuts attention compute by roughly 3x and reduces the KV cache size by over 4x.

两款模型都没有在整个上下文中均匀地应用完整注意力： * GLM 使用带有 top-2048 选择的 32 头闪电索引器（lightning indexer），并引入了 IndexPool，通过加权池化将四个索引器键向量压缩为一个。 * Qwen 的 QSA 以微块（micro-block）粒度运行，对 4 个 Token 的块进行打分并保留前 512 个块（正好 2048 个 Token）。

这种共同的模式将注意力计算量减少了约 3 倍，并将 KV 缓存大小减少了 4 倍以上。

收敛点 3：四个残差流取代单一残差流 (Convergence Point 3: Four Residual Streams Instead of One)

Abandoning the single residual stream standard since 2017, both models widen the stream into four parallel branches: * GLM adopts Manifold-Constrained Hyper-Connections (mHC). * Qwen utilizes its custom Gated Residual variant, which eliminates extra branch-mixing steps to reduce memory-access overhead and suppresses activation outliers to support FP8 residual storage.

抛弃了自 2017 年以来作为标准的单一残差流，两款模型都将残差流扩展为 四个并行分支： * GLM 采用了流形约束超连接（Manifold-Constrained Hyper-Connections, mHC）。 * Qwen 利用其定制的 Gated Residual（门控残差）变体，该变体消除了额外的分支混合步骤以减少内存访问开销，并抑制激活异常值以支持 FP8 残差存储。

收敛点 4：Muon 优化器，且融合矩阵按组件拆分 (Convergence Point 4: Muon, With Fused Matrices Split Per Component)

Both models train using the Muon optimizer, paired with a specific refinement: fused projection matrices (such as QKV, SwiGLU, and GDN projections) are split into independent components before Muon orthogonalizes them. Qwen additionally refitted its scaling laws and dropped batch-size warmup, saving nearly 19% in optimizer steps.

两款模型均使用 Muon 优化器 进行训练，并配有一个特定的改进：在 Muon 对融合投影矩阵（如 QKV、SwiGLU 和 GDN 投影）进行正交化之前，先将其拆分为独立的组件。Qwen 还重新拟合了其缩放定律（scaling laws）并取消了批大小预热（batch-size warmup），节省了近 19% 的优化器步数。

意见分歧点：位置编码 (Where They Disagree: Positional Encoding)

GLM-5.3-Flash drops Rotary Position Embeddings (RoPE) in its sparse MLA layers (qk_rope_head_dim = 0), relying entirely on implicit position flow through recurrent linear layers (NoPE).

Qwen kept RoPE. While pre-training loss curves showed no difference, Qwen discovered that NoPE variants frequently failed to terminate generation post-RLHF, highlighting how pre-training metrics can mask downstream behavioral flaws.

GLM-5.3-Flash 在其稀疏 MLA 层中放弃了旋转位置编码 RoPE（qk_rope_head_dim = 0），完全依靠通过循环线性层的隐式位置流（NoPE）。
Qwen 保留了 RoPE。 尽管预训练损失曲线显示没有差异，但 Qwen 发现 NoPE 变体在 RLHF 后经常无法终止生成，这凸显了预训练指标如何掩盖下游行为缺陷。

更广泛的收敛与唯一的异类 (The Broader Convergence and the One Dissenter)

This hybrid design reflects a wider cross-pollination trend across Chinese open-source labs, blending concepts from DeepSeek (DSA, mHC) and Moonshot (KDA).

However, MiniMax remains a notable dissenter. Finding that linear and sliding-window attention severely degraded multi-hop reasoning beyond 32K context during M2 and M3 developments, MiniMax relies exclusively on sparse softmax attention (MiniMax Sparse Attention or MSA) without incorporating any linear-attention layers.

这种混合设计反映了中国开源实验室之间更广泛的交叉融合趋势，融合了来自 DeepSeek（DSA、mHC）和月之暗面（KDA）的概念。

然而，MiniMax 仍然是一个引人注目的异类。MiniMax 在 M2 和 M3 的研发过程中发现，线性注意力和滑动窗口注意力在上下文超过 32K 时会严重降低多跳推理能力，因此它完全依赖稀疏 softmax 注意力（MiniMax Sparse Attention 或 MSA），而没有融合任何线性注意力层。

核心要点 (Key Takeaways)

Attention Ratio: GLM-5.3-Flash (34:11) and Qwen3.8-Flash-Next (36:12) independently landed on nearly identical 3:1 linear-to-full attention splits.

Context Budget: Both compress context 4x and cap sparse attention at a 2048-token budget.

Residual Streams: Both replace traditional single residual streams with 4 gated branches.

Positional Encoding Split: GLM removes RoPE entirely (NoPE), whereas Qwen retains it to prevent generation-termination issues post-training.

Alternative Approaches: MiniMax rejects linear attention entirely due to reasoning penalties at scale, utilizing sparse softmax attention instead.

注意力比例： GLM-5.3-Flash (34:11) 和 Qwen3.8-Flash-Next (36:12) 独立地采用了几乎相同的 3:1 线性与完整注意力分割。
上下文预算： 两者都将上下文压缩 4 倍，并将稀疏注意力的预算上限设为 2048 个 Token。
残差流： 两者都用 4 个门控分支替代了传统的单一残差流。
位置编码分歧： GLM 完全删除了 RoPE (NoPE)，而 Qwen 则保留了它，以防止训练后出现生成终止问题。
替代路线： MiniMax 由于担心大规模推理受损，完全拒绝了线性注意力，转而使用稀疏 softmax 注意力。

Originally published on MarkTechPost.