跳转至

文章背景与核心概要

在多任务学习（Multitask Learning）领域，传统的梯度操纵技术通常将模型参数展平为向量，并在欧几里得几何空间中进行操作，这往往忽略了现代架构（如 Transformers）中固有的矩阵结构。本文介绍了一种名为 MOON（Multi-Objective OrthoNormalized Updates） 的创新方法，旨在克服传统方法的局限性。

MOON 通过在谱-核范数几何（spectral-nuclear norm geometry）下执行梯度操纵，转变了这一研究范式，并利用正交归一化的操纵梯度进行参数更新。作者为非凸目标函数提供了理论收敛性保证，并通过各项基准测试证明了 MOON 在提升优化效率和最终多任务性能方面的显著效果。

MOON: Multi-Objective OrthoNormalized Updates for Multitask Learning

Authors: Shiji Zhou, Kunlin Lyu, Lei Zhang, Ruodong Wang, Yifan Sun
Date: August 12, 2026
arXiv ID: 2608.11749
Primary Subject: Machine Learning (cs.LG)

摘要

Summary

The paper introduces MOON (Multi-Objective OrthoNormalized Updates), a novel approach to multitask learning that addresses the limitations of traditional gradient manipulation techniques. While existing methods typically flatten model parameters into vectors and operate within Euclidean geometry, they often ignore the inherent matrix structure of modern architectures like Transformers. MOON shifts this paradigm by performing gradient manipulation under spectral-nuclear norm geometry, utilizing orthonormalized manipulated gradients for parameter updates. The authors provide theoretical convergence guarantees for non-convex objectives and demonstrate that MOON enhances both optimization efficiency and final multitask performance across various benchmarks.

本文介绍了 MOON（多目标正交归一化更新，Multi-Objective OrthoNormalized Updates），这是一种针对多任务学习的新颖方法，旨在解决传统梯度操纵技术的局限性。虽然现有方法通常将模型参数展平为向量并在欧几里得几何中运作，但它们往往忽略了诸如 Transformer 等现代架构中固有的矩阵结构。MOON 在谱-核范数几何（spectral-nuclear norm geometry）下执行梯度操纵，并利用正交归一化的操纵梯度进行参数更新，从而改变了这一范式。作者为非凸目标函数提供了理论收敛性保证，并证明了 MOON 在各种基准测试中均能提高优化效率和最终的多任务性能。

核心贡献

Key Contributions

1. 解决几何局限性

大部分多任务学习框架将梯度视为扁平向量，这未能考虑到深度学习模型中参数的矩阵值属性。作者证明了基于欧几里得空间的梯度操纵通常无法代表矩阵几何中的最速下降方向，从而阻碍了优化效率。

1. Addressing Geometric Limitations

Most multitask learning frameworks treat gradients as flat vectors, which fails to account for the matrix-valued nature of parameters in deep learning models. The authors demonstrate that Euclidean-based gradient manipulation does not generally represent the steepest descent direction in matrix geometry, thereby hindering optimization efficiency.

2. MOON 框架

MOON 通过以下方式引入了一种原则性的梯度操纵方法： * 利用矩阵几何： 在谱-核范数几何下运作，以更好地契合现代神经网络层的结构。 * 正交归一化更新： 使用正交归一化的操纵梯度，以确保更稳定、更有效的参数更新。

2. The MOON Framework

MOON introduces a principled approach to gradient manipulation by: * Leveraging Matrix Geometry: Operating under spectral-nuclear norm geometry to better align with the structure of modern neural network layers. * Orthonormalized Updates: Using orthonormalized manipulated gradients to ensure more stable and effective parameter updates.

3. 理论保证

该论文为平滑非凸目标建立了严格的收敛结果： * 确定性设定： 平均帕累托平稳性测度（Pareto-stationarity measure）以 \(\mathcal{O}(T^{-1/2})\) 的速率收敛。 * 随机设定： 以 \(\mathcal{O}(T^{-1/4})\) 的速率收敛。

3. Theoretical Guarantees

The paper establishes rigorous convergence results for smooth non-convex objectives: * Deterministic Setting: Convergence of the averaged Pareto-stationarity measure at a rate of \(\mathcal{O}(T^{-1/2})\). * Stochastic Setting: Convergence at a rate of \(\mathcal{O}(T^{-1/4})\).

访问与资源

Access & Resources

注：本内容基于 arXiv 提交论文 2608.11749。

Note: This content is based on the arXiv submission 2608.11749.