跳转至

微小体量，巨大影响：大型语言模型中的缩放向量研究

文章背景与核心概要

本文深入探讨了现代大语言模型（LLM）中归一化层内的可学习组件——缩放向量（scale vectors）。尽管这些缩放向量在模型参数中仅占极小的一部分，但它们对模型的性能有着深远的影响。通过结合表达能力、优化过程以及架构设计的理论与实证分析，作者证明了虽然缩放向量在Pre-Norm架构中并不会改变理论上的表达能力，但它们通过一种自放大的预条件效应显著增强了优化效果。

此外，该研究还揭示了权重衰减（weight decay）与不同归一化层类型（输入归一化 Input-Norm 与输出归一化 Output-Norm）之间微妙的相互作用。基于这些洞察，作者提出了三项轻量级的改进措施：分支特定异质性、线性映射周围的改进布局，以及幅度-方向重新参数化。将这些改进组合为一个统一的策略，能够在不增加显着计算或参数开销的情况下，在密集模型和混合专家（MoE）模型（参数量从 0.12B 到 2B）中持续降低最终损失并提高扩展效率。

元数据与参考信息 (Metadata & Reference Information)

  • arXiv ID: arXiv:2605.26895 (v2)
  • 主要学科: 机器学习 (cs.LG)
  • 次要学科: 人工智能 (cs.AI), 机器学习 (stat.ML)
  • 作者: Mingze Wang, Shuchen Zhu, Yuxin Fang, Binghui Li, Kai Shen, Shu Zhong
  • 提交时间: 2026年5月26日 (最后修订: 2026年8月28日)
  • 篇幅: 36 页
  • DOI: 10.48550/arXiv.2605.26895

摘要 (Abstract)

现代大语言模型（LLM）中的归一化层由确定性归一化操作和一个可学习的缩放向量组成。尽管归一化操作已被广泛研究，但缩放向量尽管无处不在，却依然缺乏足够的理解。

在这项工作中，我们从表达能力、优化和架构结构的视角对 LLM 中的缩放向量进行了系统性研究： 1. 表达能力与优化： 我们通过实验证明，尽管缩放向量仅占模型参数的可忽略不计的一小部分，但移除它们会大大降低 LLM 的预训练效果。我们的理论进一步表明，在 Pre-Norm 架构中，缩放向量并不会增加表达能力；相反，它们通过对后续线性映射产生自放大的预条件效应来改善优化。 2. 权重衰减动力学： 我们通过区分 Input-Norm 和 Output-Norm 层研究了缩放向量的权重衰减作用，理论上表明权重衰减对前者有利，但对后者有害，这是由它们在优化和表达能力中的不同角色决定的。 3. 轻量级架构改进： 基于我们的理解，我们提出了三种互补的改进措施：分支特定异质性、线性映射周围的改进布局以及幅度-方向重新参数化。理论和实验均表明，每种措施都能带来持续的性能提升。 4. 统一策略： 将这些改进组合成一个统一的缩放向量策略，并通过广泛的 LLM 预训练实验（涵盖 0.12B 到 2B 参数的密集模型和 MoE 模型，跨多个优化器、学习率调度和工业级 Token 预算）进行评估，该策略在开销微乎其微的情况下，始终能实现更低的最终损失和良好的扩展行为。

In this work, we present a systematic study of scale vectors in LLMs from the perspectives of expressivity, optimization, and architectural structure: 1. Expressivity & Optimization: We show empirically that although scale vectors constitute only a negligible fraction of model parameters, removing them substantially degrades LLM pre-training. Our theory further shows that, in Pre-Norm architectures, scale vectors do not increase expressivity; instead, they improve optimization through a self-amplifying preconditioning effect on subsequent linear mappings. 2. Weight Decay Dynamics: We investigate the role of weight decay for scale vectors by distinguishing Input-Norm and Output-Norm layers, theoretically showing that weight decay is beneficial for the former but harmful for the latter due to their distinct roles in optimization and expressivity. 3. Lightweight Architectural Improvements: Motivated by our understanding, we propose three complementary improvements: branch-specific heterogeneity, improved placement around linear mappings, and magnitude-direction reparameterization. Both theory and experiments show that each yields consistent performance gains. 4. Unified Strategy: Combining these improvements into a unified scale-vector strategy and evaluating them through extensive LLM pre-training experiments (dense and MoE models from 0.12B to 2B parameters, across multiple optimizers, learning rate schedules, and industrial token budgets), the strategy consistently achieves lower terminal loss and favorable scaling behavior with negligible overhead.