跳转至

用于模型合并的多目标贝叶斯优化

文章背景与核心概要

模型合并（Model Merging）是一种无需额外微调即可直接在权重空间组合已训练模型的高效计算方法。然而，由于下游评估成本高昂、缺乏梯度信息以及源模型能力之间可能存在冲突，选择最优的合并参数一直是一个极具挑战性的难题。

本文将合并参数的选择建模为一个黑盒多目标优化问题，并提出了 MOBO-Merge，这是一个与具体合并算子无关的通用框架。MOBO-Merge 利用多目标贝叶斯优化（Multi-objective Bayesian Optimization）在有限的评估预算下有效地逼近帕累托前沿（Pareto front）。

在 Qwen3-4B 和 Llama-3.1-8B 模型上，针对双模型（指令-数学）和三模型（指令-数学-代码）场景的评估表明，在 12 项对比实验中，MOBO-Merge 有 11 项的平均超体积（mean hypervolume）均优于随机搜索，证明了该方法在处理复杂合并参数化任务中的显著价值。

文档元数据

字段 详情
标题 Multi-Objective Bayesian Optimization for Model Merging
作者 Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury
提交日期 2026年8月14日
主要学科 机器学习 (cs.LG)
次要学科 人工智能 (cs.AI)
arXiv ID arXiv:2608.14264
DOI 10.48550/arXiv.2608.14264
许可协议 Creative Commons Attribution 4.0 International

摘要

Model merging combines trained models directly in weight space, offering a compute-efficient alternative to additional fine-tuning. Selecting merge parameters is nevertheless difficult because downstream evaluations are expensive, gradients are unavailable, and source capabilities can conflict. We formulate merge-parameter selection as a black-box multi-objective optimization problem and introduce MOBO-Merge, a merge-operator agnostic framework that uses multi-objective Bayesian optimization to approximate the Pareto front under a limited evaluation budget. We evaluate Qwen3-4B and Llama-3.1-8B in two-model instruction-math and three-model instruction-math-code settings using Linear, SLERP, TIES, and block-wise merge operators. On held-out benchmark partitions, MOBO-Merge obtains higher mean hypervolume than random search in 11 of 12 reported comparisons. The gain is small for one-dimensional Linear interpolation but substantially larger for several TIES, block-wise, and three-objective searches. No merge operator is uniformly best: TIES leads in three of four family-setting combinations, whereas Block-Linear 4x is strongest for the Llama three-model merge. These results show that multi-objective Bayesian optimization is valuable as a search layer for expressive merge parameterizations.

模型合并直接在权重空间组合已训练模型，为额外的微调提供了一种计算高效的替代方案。然而，选择合并参数非常困难，因为下游评估成本高昂、缺乏梯度信息，且源模型的能力可能存在冲突。我们将合并参数的选择建模为一个黑盒多目标优化问题，并引入了 MOBO-Merge，这是一个与合并算子无关的框架，它利用多目标贝叶斯优化在有限的评估预算下逼近帕累托前沿。我们使用线性（Linear）、SLERP、TIES 和分块（block-wise）合并算子，在双模型（指令-数学）和三模型（指令-数学-代码）设置下对 Qwen3-4B 和 Llama-3.1-8B 进行了评估。在留出的基准测试分区上，MOBO-Merge 在 12 项报告的对比中，有 11 项的平均超体积高于随机搜索。对于一维线性插值，增益较小，但对于几种 TIES、分块和三目标搜索，增益则大得多。没有哪种合并算子是绝对最优的：TIES 在四种系列设置组合中的三种处于领先地位，而 Block-Linear 4x 在 Llama 三模型合并中表现最强。这些结果表明，多目标贝叶斯优化作为一种用于表达性合并参数化的搜索层具有重要价值。

访问与资源

License Icon Reference: license icon