跳转至

WHALE：联合优化框架与模型权重的简单方法

文章背景与核心概要

优化 AI 代理（Agent）的性能不仅需要关注模型参数，还需要关注管理上下文和控制流的可执行框架（Harness）——它需要一种联合优化的方法。尽管现有方法通常将二者隔离，或者仅在优化权重的同时调整文本提示词，但往往会使系统因未优化的另一半而陷入性能瓶颈。

为了填补这一空白，研究人员推出了 WHALE（Weight-Harness Alternating LEarning，权重-框架交替学习）。这是一种简单而高效的方法，通过在当前框架下更新模型参数，以及在更新后的模型下搜索更优框架这两个阶段之间进行交替迭代。在使用涵盖多个领域的 Qwen3.5-2B/4B 代理（包括搜索问答、数学推理和国际象棋谜题）进行的实验中，WHALE 的性能显著优于仅优化权重、仅优化框架以及基线训练方法。

论文概览

  • 标题： WHALE: A Simple Recipe for Joint Harness-Weight Optimization
  • 作者： Haechan Kim, Yoonho Lee, Gisang Lee, Chelsea Finn, Kangwook Lee
  • 主要学科： 机器学习 (cs.LG)
  • 次要学科： 人工智能 (cs.AI)
  • arXiv 标识符： arXiv:2609.00196 [cs.LG]
  • 提交时间： 2026年8月31日

Paper Overview

  • Title: WHALE: A Simple Recipe for Joint Harness-Weight Optimization
  • Authors: Haechan Kim, Yoonho Lee, Gisang Lee, Chelsea Finn, Kangwook Lee
  • Primary Subject: Machine Learning (cs.LG)
  • Secondary Subject: Artificial Intelligence (cs.AI)
  • arXiv Identifier: arXiv:2609.00196 [cs.LG]
  • Submitted: August 31, 2026

摘要

代理的性能共同取决于模型参数以及管理上下文和控制流的可执行框架代码。孤立地优化任何一个组件，都会让系统受到另一个被冻结组件的制约：权重更新会改变哪个框架更有效，而框架更新则会改变模型的哪些能力得以显现。

现有的联合适应方法优化了权重和文本提示词，但保持更广泛的框架不变。WHALE 通过交替执行两个核心阶段来解决这个问题： 1. 模型更新： 在当前框架下利用在线拒绝采样微调（Online rejection-sampling fine-tuning）。 2. 框架搜索： 在更新后的模型下使用 Meta-Harness 搜索更好的框架。

为了将真正的改进与噪声区分开来，同时避免针对不断变化的另一半进行过度优化，WHALE 采用了固定的阶段持续时间，或者基于训练信号的自适应耐心规则（Adaptive patience rule）。

Abstract

Agent performance depends jointly on the model parameters and the executable harness code that manages context and control flow. Optimizing either component in isolation can leave the system bottlenecked by its frozen counterpart: weight updates can change which harness is effective, while harness updates can change which model capabilities are exposed.

Existing joint-adaptation methods optimize weights and textual prompts but leave the broader harness fixed. WHALE addresses this by alternating two core phases: 1. Model Updates: Utilizing online rejection-sampling fine-tuning under the current harness. 2. Harness Search: Searching for a better harness under the updated model using Meta-Harness.

To separate real improvements from noise without over-optimizing against a changing counterpart, WHALE uses either fixed phase durations or an adaptive patience rule over training signals.

核心发现与性能表现

  • 卓越的准确率： 在搜索问答、数学推理和国际象棋谜题等任务的测试中，WHALE 在最佳 mean@8 准确率上比仅优化权重、仅优化框架以及快慢训练（Fast-Slow Training）高出 4.15 至 24.38 个百分点。
  • 突破性能瓶颈： 根据任务的不同，任一组件都可能成为瓶颈。例如，在 SearchQA 中，框架搜索以少得多的 rollout 次数迅速追平了仅权重优化的峰值准确率，但在数学任务中，只有在进行权重更新之后，准确率才有所提升。
  • 高效率： 小型交错更新在总体准确率和 rollout 成本上，均优于分阶段的“先权重后框架”优化方法。

Key Findings & Performance

  • Superior Accuracy: Tested across search question answering, mathematical reasoning, and chess puzzles, WHALE outperforms weight-only, harness-only, and Fast-Slow Training by 4.15 to 24.38 percentage points in best mean@8 accuracy.
  • Overcoming Bottlenecks: Depending on the task, either component can act as a bottleneck. For instance, harness search quickly matches peak weight-only accuracy with far fewer rollouts in SearchQA, but improves math accuracy only after a weight update.
  • Efficiency: Small interleaved updates outperform stagewise weight-then-harness optimization in both overall accuracy and rollout cost.

链接与资源

在 arXiv 上查看原文

View original entry on arXiv