跳转至

MLREF：利用大语言模型实现强化学习奖励设计的模块化高效重用

文章背景与核心概要

奖励函数的设计一直是强化学习（RL）领域的主要瓶颈。虽然大语言模型（LLM）的引入使得奖励函数的自动生成成为可能，但传统方法通常将奖励函数视为单一的整体程序进行处理。这种方式难以在迭代过程中有效保留和重用成功的组件，往往导致优化过程表现不稳定。

为了解决这一问题，作者提出了“模块级奖励进化框架”（MLREF）。MLREF 的核心在于维护一个“模块池”，即一个可重用奖励组件的持久化存储库。奖励函数不再是整体重写，而是通过从池中提取模块并进行线性组合来动态构建。该框架通过基于反射的细化、混合信用分配以及带回滚机制的合并策略，实现了奖励组件的持续进化，在 17 项任务的实验中表现出显著的性能提升与优化稳定性。

摘要 (Abstract)

奖励函数的设计仍然是强化学习中的一个瓶颈。虽然大语言模型（LLMs）已经实现了奖励函数的自动化生成，但现有方法在生成和修订奖励函数时将其视为单一的整体程序，这使得难以可靠地保存和重用在早期迭代中发现的有效组件，从而导致跨迭代的性能不稳定。为了解决这个问题，我们提出了模块级奖励进化框架（MLREF）。MLREF 的核心是一个模块池，这是一个可重用奖励组件的持久化存储库。MLREF 将模块池作为主要的优化对象：池通过积累成功的模块、细化表现不佳的模块以及重用已验证的组件在迭代中不断进化；而奖励函数则被构建为从该池中提取的模块的线性组合。为了推动这种进化，MLREF 集成了三种机制：基于反射的细化、混合信用分配以及带回滚的合并策略，这些机制共同提高了奖励优化的有效性和鲁棒性。在 17 项任务上的实验表明，MLREF 在运动任务中比强基线模型性能提升了 25.2%，在操作任务中提升了 6.6%，并具有更稳定的优化动态。

Reward function design remains a bottleneck in reinforcement learning. While large language models (LLMs) have enabled automated reward generation, existing methods generate and revise reward functions as monolithic programs, making it difficult to reliably preserve and reuse effective components discovered in earlier iterations, leading to unstable performance across iterations. To address this, we propose Module Level Reward Evolution Framework (MLREF). At the core of MLREF is a module pool, a persistent repository of reusable reward components. MLREF treats the module pool as the primary optimization object: the pool evolves across iterations by accumulating successful modules, refining underperforming ones, and reusing proven components; while reward functions are constructed as linear combinations of modules drawn from this pool. To drive this evolution, MLREF integrates three mechanisms: reflection-based refinement, hybrid credit assignment, and a merge strategy with rollback, which together improve the effectiveness and robustness of reward optimization. Experiments on 17 tasks show that MLREF outperforms strong baselines by 25.2% in locomotion and 6.6% in manipulation, with more stable optimization dynamics.

论文元数据 (Paper Metadata)

字段 详情
arXiv 标识符 arXiv:2608.18827 [cs.LG]
学科领域 机器学习 (cs.LG); 人工智能 (cs.AI); 计算与语言 (cs.CL)
作者 Chenglin Liu, Xun Wang, Ruishuo Chen, Zhuoran Li, Longbo Huang
提交日期 2026年8月19日
文档统计 22 页, 5 张图, 4 张表
Field Details
arXiv Identifier arXiv:2608.18827 [cs.LG]
Subject Areas Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
Authors Chenglin Liu, Xun Wang, Ruishuo Chen, Zhuoran Li, Longbo Huang
Submission Date August 19, 2026
Document Stats 22 pages, 5 figures, 4 tables

全文及外部链接 (Full-Text & External Links)