跳转至

学会选择而非重新学习：基于硬路由推理 LoRA 混合模型

文章背景与核心概要

在大语言模型（LLM）的多领域适配中，将独立训练的低秩适应（LoRA）适配器组合成单一模型是一种高效的策略，尤其适用于原始训练数据无法共享的场景。尽管混合专家（MoE）风格的路由被广泛应用，但对冻结的预训练适配器应用软加权组合，往往会破坏每个 LoRA 模块最初训练时所依赖的单元尺度加和更新机制。

为了克服这一局限，本文作者推出了 Hard-Routed MoR-LoRA（硬路由推理 LoRA 混合模型），这是一个旨在通过单元尺度硬选择来组合冻结推理 LoRA 专家的两阶段框架：1. 专家训练：通过基于可验证反馈的强化学习（RLVF）独立训练特定领域的 LoRA 适配器，以构建专精的推理专家。2. 集成：冻结所有专家，从中蒸馏推理轨迹，并训练一个轻量级共享路由与小型注意力 LoRA 进行集成。

该路由采用硬 Top-1 路由为每个 Token 精确选择一个专家，并由直通估计器（Straight-Through Estimator）支持以实现基于梯度的训练。在五个基准测试、多种模型规模和不同模型系列上的实验结果表明，Hard-Routed MoR-LoRA 在保持专家行为的同时，比传统的软路由基线需要显著更少的可训练参数。此外，分析表明，归一化的软混合物往往将大部分路由权重集中在单个专家上，这证明了硬单元尺度路由可以作为冻结 LoRA 专家组合更简单、更高效的抽象方法。

原文内容

arXiv ID: arXiv:2606.31413 [cs.AI]
Submitted: June 30, 2026; Last Revised: September 3, 2026
Authors: Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari
Links: GitHub Repository | View PDF

摘要 (Summary)

Composing independently trained Low-Rank Adaptation (LoRA) adapters into a single Large Language Model (LLM) is an efficient strategy for multi-domain adaptation—particularly when the original training data cannot be shared. While Mixture-of-Experts (MoE) style routing is commonly used, applying soft weighted combinations to frozen pretrained adapters often disrupts the unit-scale additive update under which each LoRA module was originally trained.

将独立训练的低秩适应（LoRA）适配器组合成单一的大语言模型（LLM）是进行多领域适配的一种高效策略——特别是在无法共享原始训练数据的情况下。虽然混合专家（MoE）风格的路由被广泛使用，但对冻结的预训练适配器应用软加权组合，往往会破坏每个 LoRA 模块最初训练时所遵循的单元尺度加和更新机制。

To overcome this, the authors introduce Hard-Routed MoR-LoRA, a two-stage framework designed to compose frozen reasoning LoRA experts using unit-scale hard selection: 1. Expert Training: Domain-specific LoRA adapters are independently trained via reinforcement learning from verifiable feedback (RLVF) to build specialized reasoning experts. 2. Integration: All experts are frozen, reasoning traces are distilled from them, and a lightweight shared router combined with a small attention LoRA is trained for integration.

为了克服这一问题，作者推出了 Hard-Routed MoR-LoRA，这是一个两阶段框架，旨在利用单元尺度的硬选择来组合冻结的推理 LoRA 专家： 1. 专家训练： 通过基于可验证反馈的强化学习（RLVF）独立训练特定领域的 LoRA 适配器，以构建专门的推理专家。 2. 集成： 冻结所有专家，从中蒸馏推理轨迹，并训练一个轻量级共享路由以及一个小型注意力 LoRA 来进行集成。

The router employs hard top-1 routing to select exactly one expert per token, backed by a straight-through estimator to enable gradient-based training. Experimental results across five benchmarks, multiple model scales, and different model families demonstrate that Hard-Routed MoR-LoRA preserves expert behavior while requiring significantly fewer trainable parameters than traditional soft-routing baselines. Furthermore, analysis reveals that normalized soft mixtures frequently concentrate the majority of routing mass onto a single expert, demonstrating that hard unit-scale routing serves as a simpler, more efficient abstraction for frozen LoRA expert composition.

该路由采用硬 Top-1 路由为每个 Token 精确选择一个专家，并由直通估计器（Straight-Through Estimator）支持以实现基于梯度的训练。在五个基准测试、多种模型规模和不同模型系列上的实验结果表明，Hard-Routed MoR-LoRA 能够保持专家的行为，同时比传统的软路由基线需要显著更少的可训练参数。此外，分析表明，归一化的软混合物通常会将大部分路由权重集中在单个专家上，这证明了硬单元尺度路由可以作为冻结 LoRA 专家组合更简单、更高效的抽象方法。

元数据 (Metadata)