二阶 Muon 优化算法的正确实现：谱几何与曲率的原则性结合

文章背景与核心概要

本文介绍了 GO-MUON，这是一种原则性的二阶优化方法，旨在解决现有极坐标更新（polar updates）中的局限性。该研究通过引入加权谱预言机（Weighted Spectral Oracles），使优化过程能够适应数据依赖的几何结构，并支持在多个优化步骤中安全复用，从而提升了算法的鲁棒性。

此外，该研究深入探讨了曲率分析，量化了 softmax 交叉熵下观测标签反向因子与模型 Fisher 及广义高斯-牛顿（Gauss–Newton）因子之间的收敛关系。通过对“惰性几何”（Lazy Geometry）的权衡分析，文章揭示了其本质上是一种计算与统计之间的权衡，而非简单的去噪机制，为大规模模型训练提供了更高效的优化策略。

摘要概要 (Abstract Summary)

本文介绍了 GO-MUON，这是一种原则性的二阶优化方法，旨在解决现有极坐标更新中的局限性：

This paper introduces GO-MUON, a principled second-order optimization method designed to resolve limitations in existing polar updates:

• 加权谱预言机： 虽然标准的 Muon 极坐标更新仅在无权谱几何下精确，但 GO-MUON 采用了匹配的数据依赖几何，可以在多个优化步骤中安全复用。

• Weighted Spectral Oracles: While standard Muon polar updates are exact only for unweighted spectral geometry, GO-MUON employs a matched data-dependent geometry that can be safely reused across multiple optimization steps.

• 鲁棒的条件化： 在任何正定左映射和右映射的条件下，原始更新都能精确求解相应的加权谱预言机，且独立于估计方法或刷新间隔。

• Robust Conditioning: Conditioned on any positive-definite left and right maps, the raw update precisely solves the corresponding weighted spectral oracle, remaining independent of estimation methods or refresh intervals.

• 曲率分析： 对于 softmax 交叉熵，本文精确量化了观测标签反向因子何时收敛于模型 Fisher 和广义高斯-牛顿（Gauss–Newton）因子。

• Curvature Analysis: For softmax cross-entropy, the paper quantifies precisely when the observed-label backward factor converges to the model Fisher and generalized Gauss–Newton factors.

• “惰性几何”权衡： 研究表明，四步刷新计划几乎保留了与缓慢变化几何相关的跟踪延迟，同时增加了平稳因子噪声——这揭示了惰性几何本质上是一种计算-统计权衡，而非简单的去噪机制。

• The "Lazy Geometry" Tradeoff: The research demonstrates that a four-step refresh schedule nearly preserves the tracking delay associated with slowly changing geometry while increasing stationary factor noise—revealing lazy geometry fundamentally as a compute–statistics tradeoff rather than a simple denoising mechanism.