跳转至

先实现可玩，再追求优秀：面向小型对话游戏智能体的分阶段交互学习方法

文章背景与核心概要

在构建复杂的对话游戏智能体时，小型语言模型往往难以在长文本交互中维持规则和目标。为了解决这一痛点，本文作者 Syed Mahbubul Huq 和 Pranava Madhyastha 提出了针对小型对话游戏智能体的分阶段交互学习方法，并推出了 Qwen-GuidePlay-2B 模型。该工作被接收为 LMP Challenge (EMNLP 2026 Workshop) 的论文。

核心技术方面，研究团队通过结构化的三步分阶段学习法（轨迹级 SFT、轮次级 SFT 以及教师引导的 SFT）对 Qwen3.5-2B 进行了微调。该方法的核心思想是“先实现可玩，再追求优秀”——首先通过完整轨迹模仿确保模型具备基础的可玩性，随后通过精细化的轮次训练与教师模型纠偏来提升性能。在官方挑战赛中，该模型取得了第二高的 Playpen clemscore 增量（较基础模型提升了 +36 分）。

这一成果证明了，通过精细的数据筛选与分阶段策略，参数量较小的主流模型完全能够展现出强大的竞技与游戏能力，而无需过度依赖诸如回放修复（replay-repair）或困难样本挖掘（hard-example mining）等计算成本高昂的方法。

license icon

  • Authors: Syed Mahbubul Huq, Pranava Madhyastha
  • Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
  • ArXiv ID: arXiv:2608.27672
  • Conference: Accepted at the LMP Challenge (EMNLP 2026 Workshop)
  • Submitted: 27 Aug 2026

license icon

  • Authors: Syed Mahbubul Huq, Pranava Madhyastha
  • Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
  • ArXiv ID: arXiv:2608.27672
  • Conference: Accepted at the LMP Challenge (EMNLP 2026 Workshop)
  • Submitted: 27 Aug 2026

📌 Summary

Qwen-GuidePlay-2B is a compact 2B-parameter language model designed for dialogue-game interactions, built by fine-tuning Qwen3.5-2B through a structured three-step staged learning method.

By prioritizing playability first (via full trajectory imitation) and performance second (via turn-level and teacher-guided training), the model achieved the second-highest Playpen clemscore delta (+36 improvement over its base model) in the official challenge results. The findings highlight that smaller models can achieve high performance through careful data curation and staged strategies rather than reliance on procedurally heavy methods like replay-repair or hard-example mining.

📌 摘要

Qwen-GuidePlay-2B 是一个专为对话游戏交互而设计的紧凑型 2B 参数语言模型，它通过结构化的三步分阶段学习方法对 Qwen3.5-2B 进行微调构建而成。

通过将“可玩性”置于首位（通过完整轨迹模仿实现），并将“性能”置于其次（通过轮次级和教师引导训练实现），该模型在官方挑战赛中取得了第二高的 Playpen clemscore 增量（较基础模型提升了 +36 分）。这一发现突显出，通过精心的数据整理和分阶段策略，较小的模型同样能够实现高性能，而无需依赖回放修复（replay-repair）或困难样本挖掘（hard-example mining）等流程繁重的传统方法。

🚀 Key Methodology

The authors fine-tuned the base model using a three-stage pipeline: 1. Trajectory SFT: Supervised fine-tuning (SFT) exclusively on successful game trajectories from Playpen to establish foundational playability. 2. Turn-Level SFT: Weighted SFT focusing on individual turns to refine decision-making. 3. Teacher-Guided SFT: Utilizing a larger teacher model strictly for formatting fixes and example evaluation (without generating new gold actions) to maximize overall scores.

🚀 核心方法论

作者采用了一个三阶段的流水线对基础模型进行微调： 1. 轨迹级 SFT（Trajectory SFT）： 专门使用 Playpen 中成功的游戏轨迹进行监督微调（SFT），以确立基础的可玩性。 2. 轮次级 SFT（Turn-Level SFT）： 聚焦于单轮交互的加权 SFT，以优化决策过程。 3. 教师引导的 SFT（Teacher-Guided SFT）： 严格利用更大的教师模型进行格式修复和示例评估（不生成新的黄金动作），以实现整体得分的最大化。

🔗 链接与资源