跳转至

子空间推断助力基于偏好的高效主动奖励学习

文章背景与核心概要

人类反馈强化学习（RLHF）在利用人类偏好学习奖励模型时，往往面临样本效率低下的问题。虽然主动学习可以通过生成信息量丰富的查询来缓解这一挑战，但大型神经网络奖励模型在进行必要的真实不确定性量化时依然举步维艰。

为了突破这一限制，研究人员推出了 PreferenceEKF，这是一种样本高效的方法，它将主动偏好学习构架为一个序列贝叶斯滤波问题。与在整个神经网络参数空间中进行计算成本高昂的后验推断不同，PreferenceEKF 在低维参数子空间内利用扩展卡尔曼滤波。这不仅实现了可扩展的参数采样和高效的采集函数计算，还带来了具有竞争力的离线强化学习性能。

论文详情

  • arXiv ID: 2609.04066
  • 主要学科: 机器学习 (cs.LG)
  • 次要学科: 人工智能 (cs.AI), 机器人学 (cs.RO)
  • 作者: Yutai Zhou, Erdem Bıyık
  • 发表/会场: 发表于 TMLR（2026年9月3日提交）

摘要

Reinforcement learning from human feedback (RLHF) has emerged as a powerful yet sample-inefficient approach for learning reward models from human preferences, making active learning a critical component in synthesizing informative preference queries. However, effective uncertainty quantification required for active learning remains a key challenge for large neural network reward models. In this paper, we introduce PreferenceEKF, a sample-efficient approach that tracks reward model uncertainty by framing active preference learning as a sequential Bayesian filtering problem. Instead of relying on computationally prohibitive posterior inference over the full neural network parameter space, our method performs sequential inference via an extended Kalman filter within a low-dimensional parameter subspace, continuously updating the reward model posterior as new preference queries arrive. Our approach enables scalable sampling of neural network parameters to efficiently compute acquisition functions for active reward learning. Experiments on the D4RL and V-D4RL benchmarks demonstrate that our approach achieves better sample efficiency, runtime, scalability, and calibration compared to other Bayesian deep learning approaches, and the learned reward models lead to competitive offline reinforcement learning policy performance. This highlights the potential of scalable Bayesian methods for preference-based reward modeling in RLHF.

来自人类反馈的强化学习（RLHF）已成为一种强大但样本效率较低的从人类偏好中学习奖励模型的方法，这使得主动学习成为合成信息丰富偏好查询的关键组成部分。然而，主动学习所需的高效不确定性量化仍然是大型神经网络奖励模型面临的关键挑战。在本文中，我们推出了 PreferenceEKF，这是一种样本高效的方法，它将主动偏好学习构架为序列贝叶斯滤波问题，从而追踪奖励模型的不确定性。我们的方法没有依赖全神经网络参数空间上计算成本极高的后验推断，而是在低维参数子空间内通过扩展卡尔曼滤波执行序列推断，随着新偏好查询的到来不断更新奖励模型后验。我们的方法能够对神经网络参数进行可扩展采样，以高效计算主动奖励学习的采集函数。在 D4RL 和 V-D4RL 基准上的实验表明，与其他贝叶斯深度学习方法相比，我们的方法在样本效率、运行时间、可扩展性和校准性方面表现更优，并且所学的奖励模型带来了具有竞争力的离线强化学习策略性能。这凸显了可扩展贝叶斯方法在 RLHF 基于偏好的奖励建模中的潜力。

链接与资源