跳转至

文章背景与核心概要

深度强化学习（RL）长期以来面临着样本效率低下的问题，因为智能体通常从零开始训练，需要通过大量的在线交互来获取任务相关知识。传统方法严重依赖预收集的数据集、高保真模拟器或跨任务的元学习，而这些资源在实际应用中往往难以获取。

为了解决这一痛点，本文提出了 ProDVI（Programmatic Dynamics Priors for Value Network Initialization，用于价值网络初始化的程序化动力学先验） 这一全新框架。该框架利用大语言模型（LLM）中编码的常识和领域知识，在不依赖受限资源的情况下初始化强化学习智能体。ProDVI 通过提示代码生成类 LLM 编写出描述粗粒度环境动力学的可执行 Python 函数，并利用这些函数生成合成转移数据。随后，这些转移数据被用于构建一个辅助的动力学预测目标，以预训练价值网络的动作状态编码器，从而在在线强化学习开始前注入有用的归纳偏置。由于生成的代码仅用于表征预训练，且后续会通过在线学习进行纠正，因此并不要求绝对的准确性。在 OpenAI Gym 和 DeepMind Control Suite 上的实验证明，ProDVI 显著提升了无模型（model-free）强化学习算法的样本效率。

ProDVI: Programmatic Dynamics Priors for Value Network Initialization

Authors: Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
arXiv ID: arXiv:2608.06015 [cs.LG]
Submitted: 6 August 2026

📌 Summary

深度强化学习（RL）通常因智能体从头开始训练、需要大量在线交互来获取任务相关知识而饱受样本效率低下的困扰。传统方法依赖于预收集的数据集、高保真模拟器或跨相关任务的元 learning（元学习），而这些资源往往无法获得。

本文引入了 ProDVI（Programmatic Dynamics Priors for Value Network Initialization，用于价值网络初始化的程序化动力学先验），这是一个新颖的框架，它利用大语言模型（LLM）的常识和领域知识来初始化 RL 智能体，而无需这些受限资源。ProDVI 提示代码生成 LLM 生成可执行的 Python 函数，概述粗略的环境动力学，然后将其用于生成合成转移（synthetic transitions）。这些转移为一个辅助的动力学预测目标提供动力，以预训练价值网络的动作状态编码器，在在线 RL 之前嵌入有用的归纳偏置。由于生成的代码仅用于表征预训练，并依赖后续的在线学习进行纠正，因此绝对准确性并非必要。在 OpenAI Gym 和 DeepMind Control Suite 上的经验评估表明，ProDVI 显著增强了无模型 RL 算法的样本效率。

📑 Abstract

Deep Reinforcement Learning (RL) is notoriously sample inefficient. One contributing factor is that RL agents are typically initialized from scratch, forcing them to acquire task-relevant knowledge through online interaction. Existing approaches obtain informative initializations through pre-collected datasets, high-fidelity simulators, or meta-learning over related tasks, but these prerequisites may be difficult to access or even unavailable. In this paper, we propose Programmatic Dynamics Priors for Value Network Initialization (ProDVI), a framework that leverages the commonsense and domain knowledge encoded in large language models to initialize RL agents without relying on these resources. Specifically, ProDVI prompts a code-generating language model to produce executable Python functions that encode coarse hypotheses about environment dynamics. These functions are then used to generate synthetic transitions. Based on these transitions, we construct an auxiliary dynamics prediction objective to pretrain the state-action encoder of the value network in an actor-critic framework. The learned representation provides dynamics-aware inductive biases before online RL begins. Importantly, the generated programs are used only for representation pretraining and are not required to faithfully simulate the target environment. While the generated programs may be inaccurate, their induced initialization can be corrected through online learning from real transitions and rewards. Experiments on OpenAI Gym and DeepMind Control Suite tasks show that ProDVI can effectively improve the sample efficiency of model-free RL algorithms.

深度强化学习（RL）的样本效率低下是众所周知的。导致这一现象的一个因素是，RL 智能体通常是从头开始初始化的，这迫使它们通过在线交互来获取与任务相关的知识。现有方法通过预先收集的数据集、高保真模拟器或对相关任务进行元学习来获得信息丰富的初始化，但这些先决条件可能很难获得甚至不可用。在本文中，我们提出了用于价值网络初始化的程序化动力学先验（ProDVI），该框架利用大语言模型中编码的常识和领域知识来初始化 RL 智能体，而不依赖于这些资源。具体来说，ProDVI 提示代码生成语言模型生成可执行的 Python 函数，这些函数编码了关于环境动力学的粗略假设。然后，这些函数被用于生成合成转移。基于这些转移，我们在 actor-critic 框架中构建了一个辅助动力学预测目标，以预训练价值网络的动作状态编码器。学到的表征在在线 RL 开始之前提供具动力学感知的归纳偏置。重要的是，生成的程序仅用于表征预训练，不需要真实地模拟目标环境。虽然生成的程序可能不准确，但它们引发的初始化可以通过从真实转移和奖励中进行在线学习来纠正。在 OpenAI Gym 和 DeepMind Control Suite 任务上的实验表明，ProDVI 可以有效提高无模型 RL 算法的样本效率。