跳转至

文章背景与核心概要

现代细粒度混合专家（MoE）模型通常将每个 Token 路由至一小部分专家，并对其路由器概率进行重新归一化。本文证明了标准的重新归一化会隐式地将专家输出增益校准到训练时的 top-\(k\) 阈值。因此，如果在推理时减少 \(k\) 的值，将会同时改变活跃专家的选择以及专家分支的整体强度。

为了解耦这些影响，作者提出了一种免训练、无参数的方法：激活前 \(k_1\) 个专家，同时通过前 \(k_2\) 个专家（\(k_2 > k_1\)）的概率质量进行归一化。该方法引入了一个单一的整数参数且不产生计算开销：在 Qwen3.6-35B-A3B 模型中，在标准重新归一化下将激活专家从 8 减少到 4 会导致 MMLU 下降 4.65 个百分点，而当 \(k_2=16\) 时仅下降 0.35 个百分点，同时将路由专家的计算量减少了一半；在 Qwen3.5-397B-A17B 模型中，使用适当的参考集将活跃专家从 10 减少到 5 仅带来 0.55 个百分点的下降。然而，作者警告完全去除重新归一化将带来灾难性后果，并证明了保留合适的参考概率质量至关重要。此外，困惑度（Perplexity）与下游准确率偏好不同的 \(k_2\) 值，这表明 MoE 压缩设置不应仅通过无标签文本进行优化。进一步的分析表明，专家的身份（Identity）比专家权重的影响显著得多，并且平衡的、特定于领域的路由留给任意专家剪枝的空间非常有限。

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Authors: Xing Chen, Hengshuai Yao
Published: September 4, 2026
Primary Subject: Machine Learning (cs.LG)
arXiv: 2609.04575

Authors: Xing Chen, Hengshuai Yao
Published: September 4, 2026
Primary Subject: Machine Learning (cs.LG)
arXiv: 2609.04575

Summary

Summary

现代细粒度混合专家（MoE）模型通常将每个 Token 路由到一小部分专家，并对其路由器概率进行重新归一化。本文证明了标准的重新归一化隐式地将专家输出增益校准到了训练时的 top-\(k\) 阈值。因此，在推理时减少 \(k\) 会同时改变活跃专家的选择以及专家分支的整体强度。

Modern fine-grained Mixture-of-Experts (MoE) models typically route each token to a small subset of experts and renormalize their router probabilities. This paper demonstrates that standard renormalization implicitly calibrates expert output gain to the training top-\(k\) threshold. Consequently, reducing \(k\) at inference alters both active expert selection and the overall strength of the expert branch.

为了解耦这些影响，作者提出了一种免训练、无参数的方法：激活前 \(k_1\) 个专家，同时利用前 \(k_2\) 个专家（\(k_2 > k_1\)）的概率质量进行归一化。这引入了一个单一的整数参数且不产生计算开销： * Qwen3.6-35B-A3B： 在标准重新归一化下，将激活专家从 8 个减少到 4 个会使 MMLU 下降 4.65 分，但在 \(k_2=16\) 时仅下降 0.35 分，同时将路由专家的计算量减少了一半。 * Qwen3.5-397B-A17B： 使用适当的参考集，将活跃专家从 10 个减少到 5 个仅会带来 0.55 分的下降。

To decouple these effects, the authors propose a training-free, parameter-free method: activating the top \(k_1\) experts while normalizing by the probability mass of the top \(k_2\) experts (\(k_2 > k_1\)). This introduces a single integer parameter with no compute overhead: * Qwen3.6-35B-A3B: Reducing activated experts from 8 to 4 drops MMLU by 4.65 points under standard renormalization, but only by 0.35 points with \(k_2=16\), while cutting routed-expert compute in half. * Qwen3.5-397B-A17B: Reducing from 10 to 5 active experts incurs a drop of only 0.55 points using an appropriate reference set.

然而，作者警告说，完全去除重新归一化是灾难性的，这证明了保留一个合适的参考质量是至关重要的。此外，困惑度和下游准确率倾向于不同的 \(k_2\) 值，这表明不应仅使用无标签文本来优化 MoE 压缩设置。进一步的分析表明，专家的身份比专家权重具有显著更大的影响力，并且平衡的、领域专精的路由使得任意专家剪枝的空间非常有限。

However, the authors caution that completely removing renormalization is catastrophic, proving that preserving a suitable reference mass is essential. Furthermore, perplexity and downstream accuracy favor different values of \(k_2\), indicating that MoE compression settings should not be optimized using unlabeled text alone. Additional analyses reveal that expert identity is significantly more impactful than expert weighting, and that balanced, domain-specialized routing leaves limited room for arbitrary expert pruning.

Metadata

Metadata