跳转至

当故事演进时：开放式世界模拟中大语言模型叙事能力的基准测试

文章背景与核心概要

尽管大语言模型（LLM）在生成局部流畅的文本方面表现出色，但在演进式世界模拟和AI原生游戏中，开放式叙事的需求远不止于此。随着模拟的推进，模型必须在事实、人际关系、因果依赖以及角色状态等方面保持长期的逻辑一致性。

为了解决这一问题，作者提出了 WSE-bench，这是一个专门的过程基准测试，旨在从三个维度评估动态LLM叙事能力：生成覆盖率、一致性以及丰富度。研究发现，模型在一致性和丰富度之间并不存在简单的权衡关系，而是呈现出非凹的帕累托前沿。此外，增加结构化脚手架虽能丰富叙事轨迹，却未必能提升连贯性；而单纯增加模型规模也主要体现在延长生成长度上，对核心逻辑的一致性贡献有限。

📌 摘要

尽管大语言模型（LLM）能够编写局部流畅的文本，但在演进的世界模拟和AI原生游戏中，开放式叙事需要的不仅仅是局部流畅性。随着模拟的推进，模型必须在事实、关系、因果依赖和角色状态方面保持长期的一致性。

While large language models (LLMs) are capable of writing locally fluent text, open-ended storytelling in evolving world simulations and AI-native games requires far more than local fluency. Models must maintain long-term consistency regarding facts, relationships, causal dependencies, and character states as the simulation progresses.

为了解决这个问题，作者引入了 WSE-bench，这是一个专门的过程基准测试，旨在从三个不同的维度评估动态LLM叙事： 1. 生成覆盖率： 成功生成的计划叙事步骤的比例。 2. 一致性： 追踪规范规则或事实何时以及如何被打破。 3. 丰富度： 衡量有意义的、分支的、由玩家塑造的轨迹的发展情况。

To address this, the authors introduce WSE-bench, a specialized process benchmark designed to evaluate dynamic LLM storytelling across three distinct dimensions: 1. Generation Coverage: The proportion of planned narrative steps successfully produced. 2. Consistency: Tracking when and how canonical rules or facts are broken. 3. Richness: Measuring the development of meaningful, branching, player-shaped trajectories.

关键发现

  • 非凹帕累托前沿： 在前沿模型中，“一致性”和“丰富度”并未形成平滑的权衡。相反，它们表现出一种非凹的帕累托前沿，其中包含无法通过正线性加权实现的非支配中间配置。
  • 架构的影响： 增加结构化脚手架可以丰富叙事轨迹，但并不能统一提高连贯性，甚至可能无意中缩短整体叙事输出。
  • 模型规模的作用： 增加模型规模主要提高了持续生成的长度，但在规范连贯性或有意义的叙事发展方面并没有带来可靠的收益。

Key Findings

  • Non-Concave Pareto Frontier: Across frontier models, Consistency and Richness do not form a smooth trade-off. Instead, they exhibit a non-concave Pareto frontier containing non-dominated intermediate configurations that cannot be achieved via positive linear weighting.
  • Impact of Architecture: Adding structural scaffolding can enrich narrative trajectories, but it does not uniformly improve coherence and may inadvertently shorten the overall narrative output.
  • Role of Model Scale: Increasing model scale primarily improves sustained generation length, without yielding reliable gains in canonical coherence or meaningful narrative development.

最终，WSE-bench 强调了持续生成、规范连贯性和有意义的发展是截然不同且经常相互竞争的能力，成功地将叙事评估从最终的静态产品扩展到了底层的生成过程。

Ultimately, WSE-bench highlights that sustained generation, canonical coherence, and meaningful development are distinct—and frequently competing—capabilities, successfully expanding narrative evaluation from final static products to the underlying generation processes.

📊 文档元数据与参考信息

  • 主要学科： 计算与语言 (cs.CL)
  • 次要学科： 人工智能 (cs.AI)
  • ACM 分类： I.2.7
  • DOI： 10.48550/arXiv.2608.15654
  • Primary Subject: Computation and Language (cs.CL)
  • Secondary Subjects: Artificial Intelligence (cs.AI)
  • ACM Classification: I.2.7
  • DOI: 10.48550/arXiv.2608.15654

全文及访问链接

Full-Text & Access Links

外部引用与资源

External Citations & Resources