跳转至

DSLE：黑暗之魂首领战学习环境

文章背景与核心概要

近年来，随着强化学习和游戏AI的迅猛发展，研究人员不断将复杂的现代商业游戏作为测试智能体能力的绝佳试验场。然而，开发高度拟真、具有高维视觉输入以及实时高难度对抗的开源标准化环境一直面临诸多挑战。为此，来自学界的研究团队推出了黑暗之魂学习环境（DSLE），这是一个基于容器化的全新平台，它通过标准化的 Gymnasium 风格接口，将《黑暗之魂：重制版》（Dark Souls: Remastered）中的全部 22 个首领战转化为了面向游戏AI智能体的基准测试。

该平台完美结合了实时战斗、高维视觉输入以及稀疏的终止奖励，每一个环境交互步骤都是在实际运行的游戏实例中执行的真实动作。为了便于进行可控的实验评估，作者团队还推出了 DSLE-5——一个包含五个代表性首领的子集，涵盖了近战对抗、空间受限、环境险境、多目标威胁以及快节奏最终首领战等多样化挑战。

初步评估结果表明，这一基准测试极具挑战性。尽管传统的专家系统和进化基准能够在教学首领（不死院恶魔）身上取得一定胜利，但面对复杂的首领时，无论是基于视觉输入的 PPO 和 DQN 等深度强化学习算法，还是其他基线方法，在消耗大量计算资源后均未能展现出有意义的学习效果。这表明当前的AI算法在应对长周期、高难度、视觉复杂的实时动作游戏时，依然任重而道远。

License Icon

arXiv: arXiv:2608.09902 [cs.AI]
Authors: Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker
Submitted: August 10, 2026
Conference: AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, 2026

arXiv: arXiv:2608.09902 [cs.AI]
Authors: Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker
Submitted: August 10, 2026
Conference: AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, 2026

📌 Summary

📌 Summary

黑暗之魂学习环境（DSLE）是一个新推出的容器化平台，它通过 Gymnasium 风格的接口，将《黑暗之魂：重制版》中的全部 22 个首领战转化为了针对游戏AI智能体的标准化基准测试。

The Dark Souls Learning Environment (DSLE) is a newly introduced, containerized platform that converts all 22 boss encounters from Dark Souls: Remastered into standardized benchmarks for game-playing AI agents via a Gymnasium-style interface.

DSLE 将复杂的实时战斗与高维视觉输入及稀疏的终止奖励结合起来，环境中的每一个步骤都是针对正在运行的游戏实例所执行的真实动作。为了推动可控实验的发展，作者提出了 DSLE-5，这是一个包含五个首领的基础子集，旨在涵盖各种战斗挑战（如近战、空间限制、环境危害、多目标威胁以及快速的最终首领节奏）。

DSLE bridges complex, real-time combat with high-dimensional visual inputs and sparse terminal rewards, executing real actions against a running instance of the game. To facilitate controlled experimentation, the authors propose DSLE-5, a foundational five-boss subset designed to cover varied combat challenges (such as melee, spatial constraints, environmental hazards, multi-target threats, and fast final-boss pacing).

对随机策略、专家系统、进化基准以及深度强化学习算法（PPO 和 DQN）进行的初步评估突显了该基准的巨大难度：只有较简单的基线在面对教学首领时取得了可观的成功，而更复杂的模型在消耗大量计算资源的情况下，依然难以展现出有意义的学习效果。

Initial evaluations across random policies, expert systems, evolutionary baselines, and deep reinforcement learning algorithms (PPO and DQN) highlight the immense difficulty of the benchmark: only simpler baselines achieved measurable success against the tutorial boss, while more complex models struggled to exhibit meaningful learning within extensive computational budgets.

🔬 Abstract

🔬 Abstract

我们推出了黑暗之魂学习环境（DSLE），这是一个容器化平台，通过 Gymnasium 风格的接口，将《黑暗之魂：重制版》的所有 22 个首领战呈现为游戏智能体基准测试。DSLE 结合了实时战斗、高维视觉输入以及稀疏的终止奖励，环境中的每个步骤都是对运行中的游戏执行的真实动作。

We introduce the Dark Souls Learning Environment (DSLE), a containerized platform that presents all 22 boss encounters of Dark Souls: Remastered as game-playing agent benchmarks through a Gymnasium-style interface. DSLE combines real-time combat, high-dimensional visual input, and sparse terminal rewards, with each environment step being a real action executed against the running game.

为了支持可控的比较，我们定义了 DSLE-5，这是一个具有代表性的五首领子集，涵盖了近战、空间受限竞技场、环境危害战、多目标战以及快节奏的最终首领战，我们建议将其作为构建于 DSLE 之上的智能体的起始套件。

To support controlled comparison, we define DSLE-5, a representative five-boss subset, spanning a melee fight, a spatially constrained arena, an environmental-hazard fight, a multi-target fight, and a fast final-boss fight, that we recommend as the starting suite for agents built on DSLE.

在 DSLE-5 上，我们评估了随机策略、专家系统、进化基准，以及通过视觉输入训练的 PPO 和 DQN 智能体。专家系统和进化基准分别击败了游戏教学首领“不死院恶魔”（峰值胜率分别为 63% 和 43%），但五种方法均未击败其余四个 DSLE-5 首领；在单次运行已耗费数十小时真实时间的计算预算内，PPO 和 DQN 没有表现出可测量的学习效果（在教学首领上的胜率至多为 0.33%，其余地方为 0%）。

On DSLE-5 we evaluate a random policy, an expert system, an evolutionary baseline, and PPO and DQN agents trained from visual input. The expert system and the evolutionary baseline each defeat the Asylum Demon, the game's tutorial boss (63% and 43% peak win rates), but none of the five methods defeats the other four DSLE-5 bosses; PPO and DQN show no measurable learning (at most 0.33% win rate on the tutorial boss, 0% elsewhere) within a budget that already costs tens of wall-clock hours per run.

在所有 22 个遭遇战中运行进化基准（赋予全属性 50 级的优势状态）的更广泛研究表明，其仅在少数额外的游戏早期首领中取得胜利，其余均告失败。失败案例从狭窄多目标遭遇战中不到 10 秒的死亡，到几乎不造成伤害、长达数分钟的僵局不等，我们通过生存时间和造成的伤害来报告这些结果，而不仅仅依赖胜率。

A broader study running the evolutionary baseline across all 22 encounters under advantaged all level-50 stats yields wins on only a handful of additional early-game bosses and leaves the rest unwon. The failure cases range from sub-10-second deaths in cramped, multi-target encounters to minute-long stalemates that inflict almost no damage, and we report them through survival time and damage dealt rather than win rate alone.