跳转至

SDS-LoRA：克服低秩适应中的各向异性梯度缩放

文章背景与核心概要

低秩适应（LoRA）作为一种通过低秩参数更新来高效微调大型预训练模型的主流技术，近年来在学术界和工业界得到了广泛应用。然而，本文揭示了标准 LoRA 中存在的一个几何局限性：反向传播到低秩矩阵的梯度会经历由其奇异值驱动的各向异性梯度缩放（anisotropic gradient scaling）。这种现象会扭曲参数更新，使其偏向主导的奇异方向，同时抑制其他方向，最终导致梯度的有效秩降低。

为了解决这一问题，作者提出了 SDS-LoRA（Structurally Decouples Singular values from the backward pass，在反向传播中结构化解耦奇异值）。这种新颖的参数化方法确保了梯度仅通过子空间的标准正交基进行反向传播，完全独立于其尺度大小。理论和实验分析表明，SDS-LoRA 能够有效提高收敛速度、缩小与全量微调（full fine-tuning）的性能差距，并显著提升其在视觉和自然语言处理基准测试中的适应能力。

Paper Metadata

  • Title: SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
  • Authors: Junghun Oh, Sungyong Baik, Kyoung Mu Lee
  • Subjects: Machine Learning (cs.LG), Artificial Intelligence (cs.AI)
  • arXiv Identifier: arXiv:2606.16454 [cs.LG]
  • Submitted / Revised: Submitted on June 15, 2026; Last revised August 13, 2026 (v2)
  • License: Creative Commons Attribution 4.0

Paper Metadata

  • Title: SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
  • Authors: Junghun Oh, Sungyong Baik, Kyoung Mu Lee
  • Subjects: Machine Learning (cs.LG), Artificial Intelligence (cs.AI)
  • arXiv Identifier: arXiv:2606.16454 [cs.LG]
  • Submitted / Revised: Submitted on June 15, 2026; Last revised August 13, 2026 (v2)
  • License: Creative Commons Attribution 4.0