跳转至

MoE 路由引导的异构联邦指令微调聚类方法

文章背景与核心概要

在分布式隐私保护场景中，联邦指令微调允许去中心化的客户端在不共享原始数据的情况下协同调整大型语言模型（LLM）。然而，由于客户端之间存在异构的指令分布，传统的简单参数聚合往往会导致负向迁移，从而降低模型性能。

为了解决这一挑战，本文提出了 ClientMorpher 框架，这是一种专为稀疏混合专家（MoE）大语言模型设计的、具备路由感知能力的个性化联邦指令微调方案。该框架巧妙地利用了预训练 MoE 模型底层的路由行为作为客户端协作的丰富指标，在聚合前进行精准的分组。文章提出了两种核心聚类方法：ClientMorpher-C（基于专家激活配置文件直接对客户端聚类）和 ClientMorpher-E（通过分析跨客户端的使用特征首先对专家进行聚类，进而推导出高效的客户端协作群组）。

在 Databricks Dolly-15K 数据集上（结合病态和基于狄利克雷分布的异构客户端场景）进行的评估表明，在保持相同通信开销的前提下，ClientMorpher 的性能显著优于传统的联邦平均（FedAvg）以及本地训练基线。

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

Summary

Summary

This paper introduces ClientMorpher, a novel routing-aware personalized federated instruction fine-tuning framework designed for sparse Mixture-of-Experts (MoE) Large Language Models (LLMs). Federated instruction tuning allows decentralized clients to collaboratively adapt LLMs to privacy-sensitive data without sharing raw information. However, heterogeneous instruction distributions across clients frequently lead to negative transfer during naive parameter aggregation.

本文介绍了 ClientMorpher，这是一种专为稀疏混合专家（MoE）大语言模型（LLM）设计的新型路由感知个性化联邦指令微调框架。联邦指令微调允许去中心化的客户端在不共享原始数据的情况下，协同将 LLM 调整适应于对隐私敏感的数据。然而，客户端之间异构的指令分布在朴素的参数聚合过程中往往会导致负向迁移。

To overcome this, ClientMorpher harnesses the underlying routing behaviors of pretrained MoE models as a rich indicator for client collaboration prior to aggregation. The framework proposes two key clustering methodologies: * ClientMorpher-C: Directly clusters clients based on their expert activation profiles. * ClientMorpher-E: First clusters experts by analyzing cross-client usage signatures, and subsequently derives effective client collaboration groups.

为了克服这一问题，ClientMorpher 利用预训练 MoE 模型的底层路由行为，作为聚合前客户端协作的重要指标。该框架提出了两种关键的聚类方法： * ClientMorpher-C： 根据客户端的专家激活配置文件直接对其进行聚类。 * ClientMorpher-E： 通过分析跨客户端的使用特征首先对专家进行聚类，随后推导出有效的客户端协作群组。

Evaluated on the Databricks Dolly-15K dataset using both pathological and Dirichlet-based heterogeneous client distributions, ClientMorpher demonstrates consistent performance improvements over conventional federated averaging and local training baselines while preserving identical communication overhead.

在使用病态和基于狄利克雷分布的异构客户端分布的 Databricks Dolly-15K 数据集上进行的评估表明，在保持相同通信开销的同时，ClientMorpher 的性能相比传统的联邦平均和本地训练基线取得了持续的提升。

Paper Metadata

Paper Metadata

Authors

Authors

  • Ankita Sharma
  • Bahar Farahani
  • Sanaz Rahimi Moosavi
  • Amir Rrahmani
  • Farshad Firouzi
  • Krishnendu Chakrabarty
  • Ankita Sharma
  • Bahar Farahani
  • Sanaz Rahimi Moosavi
  • Amir Rrahmani
  • Farshad Firouzi
  • Krishnendu Chakrabarty