跳转至

基于分层误差模型搜索的 SVD 大语言模型压缩技术新突破

Advancing SVD-based LLM Compression via Layer-Wise Error Model Search

arXiv ID: arXiv:2610.32878 [cs.AI]
所属领域 / Primary Subject: 人工智能 / Artificial Intelligence (cs.AI)
收录会议 / Accepted At: ICML 2026 (Extended version)
提交时间 / Submitted: 23 October 2026 (v1); Revised: 26 October 2026 (v2)
论文作者 / Authors: Moritz Thoma, Maximilian Groezinger, Maximilian Forstenhäusler, Emad Aghajanzadeh, Manoj Rohit Vemparala, Christos Anagnostopoulos, Pierpaolo Mori, Nael Fasfous, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann
DOI: 10.48550/arXiv.2610.32878
项目主页与代码 / Project Page & Code: lems-svd.github.io

文章背景与核心概要

随着大语言模型 (Large Language Model, LLM) 参数规模迈向数百亿甚至上千亿，高昂的计算和显存开销已成为其在实际工业场景落地的最大阻碍之一。基于低秩奇异值分解 (Singular Value Decomposition, SVD) 的模型压缩技术被视为无损瘦身的有效途径，但传统方法长期受困于两大痛点：无法准确评估层间累积误差导致秩分配不合理，以及基于费舍尔信息矩阵的分解容易陷入严重的“秩坍缩”。针对这些技术掣肘，来自国际顶尖学术机构的研究团队提出了全新的 LEMS (分层误差建模搜索) 机制与 KFAC-SVD 分解方法，首次将局部/全局重要性与传播偏差融合构建代理误差函数，并通过整数线性规划 (Integer Linear Programming, ILP) 精准分配压缩预算。在 Mistral、Qwen3 和 Llama 3 等主流模型家族上的实测表明，新方案不仅成功扩展到了 70B 超大模型，还实现了零样本精度最高 4.7 个百分点的跃升与平均 19% 的困惑度改善，为大模型的高效落地提供了崭新的数学与工程范式。

核心概要

Summary

本论文提出了一系列前沿技术，旨在推进大语言模型 (Large Language Model, LLM) 基于低秩奇异值分解 (Singular Value Decomposition, SVD) 的压缩效果。研究团队精准定位了现有压缩范式中的两大核心缺陷：

This paper presents novel techniques to advance low-rank Singular Value Decomposition (SVD)-based compression for Large Language Models (LLMs). The authors identify two primary limitations in existing compression methodologies:

  1. 全局秩分配瓶颈：未校准的误差代理指标无法准确捕捉模型各层之间极其复杂的误差传递与累积效应；
  2. 分解质量缺陷：基于费舍尔信息 (Fisher) 的估计方法容易遭遇严重的“秩坍缩 (Rank Collapse)”，破坏压缩后的表达能力。
  1. Global Rank Allocation: Uncalibrated error proxies fail to capture complex error propagation across layers.
  2. Decomposition Quality: Fisher-based estimators suffer from severe rank collapse.

为了彻底破解这些难题，研究人员构建了两大关键创新框架：

To resolve these issues, the researchers introduce two key frameworks:

  • LEMS (分层误差建模搜索, Layer-wise Error Modeling Search)：通过引入一套分层误差代理模型来优化全局秩分配，该模型有机结合了各层的局部与全局重要性以及误差传播偏差，并巧妙地转化为整数线性规划 (Integer Linear Programming, ILP) 问题进行精确高效求解；
  • KFAC-SVD：利用逐 Token (Token-wise) 的统计特征，显著改善分解质量，一举消除了以往基于 Fisher 的 SVD 算法所面临的有效秩缺失 (Rank Deficiency) 困境。
  • LEMS (Layer-wise Error Modeling Search): Improves global rank allocation by incorporating a layer-wise error surrogate that integrates local/global layer importance alongside a propagation bias, solved via an Integer Linear Programming (ILP) formulation.
  • KFAC-SVD: Enhances decomposition quality by using token-wise statistics to alleviate rank deficiency in prior Fisher-based SVD approaches.

在 Mistral、Qwen3 和 Llama 3 等主流模型家族上的详尽基准测试表明，本方案实现了高达 4.7 个百分点的零样本 (Zero-shot) 准确率增益（这一优势能够无缝拓展至 70B 参数规模的模型），同时带来了平均 19% 的困惑度 (Perplexity) 显著优化。

Extensive evaluations across the Mistral, Qwen3, and Llama 3 model families demonstrate zero-shot accuracy gains of up to 4.7 percentage points (generalizing effectively to 70B parameter models), alongside an average 19% perplexity improvement.

论文摘要

Abstract

基于低秩奇异值分解 (SVD) 的模型压缩技术，为大幅削减大语言模型 (LLM) 的计算与存储开销提供了一种强有力的途径。然而，现有主流方法普遍受制于两大关键瓶颈：其一是全局秩分配难题——未校准的误差代理函数无法精准刻画深层网络中复杂的跨层误差传递；其二是权重分解质量问题——基于费舍尔信息的估计器往往会出现严重的秩坍缩。在本项工作中，我们通过提出分层误差建模搜索 (LEMS) 与 KFAC-SVD 两大核心创新，有效化解了这些痛点。LEMS 创新性地引入了分层误差替代模型，在整合各层局部与全局重要性的同时兼顾误差传播偏差，并借助整数线性规划 (ILP) 建模实现了全局最优的秩自适应分配。与此同时，KFAC-SVD 充分利用逐 Token 的高阶统计信息，极大缓解了传统 Fisher-SVD 方法中的秩亏损缺陷。跨越 Mistral、Qwen3 和 Llama 3 系列模型的全面实验表明，LEMS 持续超越现有的各类搜索基线策略，在 70B 参数体量的大模型上亦能稳定泛化，带来高达 4.7 个百分点的零样本精度提升；而 KFAC-SVD 则实现了平均 19% 的困惑度大幅改善。

Low-rank SVD-based compression offers a powerful strategy to reduce the computational costs of LLMs. However, existing methods face two key limitations: (i) global rank allocation, where uncalibrated error proxies fail to capture complex error propagation, and (ii) decomposition quality, where Fisher-based estimators suffer from severe rank collapse. In this work, we address these limitations by introducing Layer-wise Error Modeling Search (LEMS) and KFAC-SVD. LEMS advances rank allocation by introducing a layer-wise error surrogate that integrates local and global layer importance alongside a propagation bias, enabling effective global rank allocation via an ILP formulation. KFAC-SVD improves decomposition quality by utilizing token-wise statistics, mitigating the rank deficiency observed in prior Fisher-based SVD approaches. Across Mistral, Qwen3, and Llama 3 model families, we show that LEMS consistently outperforms existing search strategies, delivering significant zero-shot accuracy gains of up to 4.7 p.p. that generalize to model sizes of 70B parameters, while KFAC-SVD achieves an average perplexity improvement of 19%.

资源与论文链接