强化学习中状态抽象的组合行为语义
文章背景与核心概要
状态抽象是强化学习（RL）算法扩展至复杂、结构化环境的关键技术。尽管此前研究已探讨了包括价值函数、不变量、互模拟关系及行为度量在内的多种行为结构，但学术界一直缺乏一套通用的原则来界定哪些结构能够在状态抽象下保持不变。
本文提出了一种用于定义和分析强化学习中行为结构的统一框架。该框架采用基于系统动力学局部一步描述的组合方法，建立了在具体系统与抽象系统之间安全迁移行为结构的正式结果，并为从逻辑语义导出的定量度量提供了可靠性保证。这些成果为强化学习中状态抽象下的行为推理奠定了原则性基础，并为广泛的行为结构提供了可复用的定义与证明准则。
论文元数据 (Paper Metadata)
- arXiv ID: arXiv:2606.25357 (v2)
- 主要学科: 机器学习 (
cs.LG) - 次要学科: 人工智能 (
cs.AI), 范畴论 (math.CT) - 会议场所: 国际机器学习会议 (ICML) 2026
- 作者: Yivan Zhang, Ziyan Luo, Manuel Baltieri
- 提交日期:
- 首次提交于 2026 年 6 月 24 日 (v1)
- 最后修订于 2026 年 8 月 7 日 (v2)
摘要 (Abstract)
状态抽象在将强化学习扩展到复杂但结构化的系统方面发挥着关键作用。在研究此类系统时，强化学习中已经研究了广泛的行为结构，包括价值函数、不变量、互模拟关系和行为度量。然而，目前仍缺乏一种通用的原则来确定哪些结构在状态抽象下是可证明保持的。
State abstraction plays a key role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been studied in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking.
在本文中，我们提出了一个用于定义和分析强化学习中行为结构的统一框架。我们的框架提供了一种基于系统动力学局部一步描述来指定行为语义的组合方式。利用该框架，我们建立了相关结果，展示了行为结构如何在抽象系统和具体系统之间安全地迁移。我们进一步展示了如何从逻辑行为语义构建具有可靠性保证的定量度量。总之，这些结果为强化学习中状态抽象下的行为推理提供了原则性基础，并为强化学习中广泛的行为结构提供了可重用的定义和证明原则。
In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.