文章背景与核心概要

传统的免搜索国际象棋网络通常通过模仿更强大的教师（例如蒸馏 Leela Chess Zero 等 AlphaZero 风格的蒙特卡洛树搜索访问计数）来实现单次前向传播即可达到人类大师级别的实力。然而，单纯模仿搜索结果并不是实现无搜索对弈的完美替代方案。为了突破这一局限，本文作者通过自博弈强化学习对单次前向传播模型的实力进行了微调。

研究所提出的核心技术包括“先验导向探索”（Prior-Directed Exploration），它用一种前向的、覆盖概率质量的 KL 散度（针对网络自身的 MCTS 先验）取代了传统的熵奖励，从而确保探索能够聚焦于先验认为是极具潜力的走法。此外，配合由价值头的结果不确定性控制的“熵自适应采样温度”，模型在局面明朗时能够更加果断。实验结果表明，这种方法在保持基础免搜索强度的同时，显著提升了战术谜题的准确率，并揭示了战术准确性与整体博弈强度之间的有趣解耦现象。

Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess

Authors: Szymon Miłosz, Piotr Duch, Szymon Grabowski
Published: August 27, 2026
Primary Subject: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
arXiv: 2608.27757 | View PDF

作者： Szymon Miłosz, Piotr Duch, Szymon Grabowski
发布日期： 2026年8月27日
主要学科： 机器学习 (cs.LG)；人工智能 (cs.AI)
arXiv： 2608.27757 | 查看 PDF

Abstract Summary

Searchless chess networks achieve human master strength in a single forward pass by imitating a stronger teacher, typically distilling visit counts from an AlphaZero-style Monte Carlo Tree Search (MCTS) like Leela Chess Zero's (Lc0) Chessformer. However, imitating a search is an imperfect proxy for playing without one.

To overcome this, the authors fine-tune models for single-pass strength using self-play reinforcement learning (RL): * Prior-Directed Exploration: Replacing the standard entropy bonus (reverse Kullback-Leibler divergence to uniform) with a forward, mass-covering KL divergence toward the network's own MCTS prior. This ensures exploration focuses on moves that the prior identifies as promising. * Entropy-Adaptive Sampling Temperature: Governed by the outcome uncertainty of the value head, this temperature sharpens once a position is decided.

摘要概要

免搜索国际象棋网络通过模仿更强的教师（通常是从 AlphaZero 风格的蒙特卡洛树搜索（MCTS）中蒸馏访问计数，例如 Leela Chess Zero (Lc0) 的 Chessformer），在单次前向传播中即可达到人类大师级别的实力。然而，模仿搜索结果并不是实现无搜索对弈的完美代理方案。

为了克服这一局限，作者使用自博弈强化学习（RL）对单次前向传播模型的实力进行了微调： * 先验导向探索（Prior-Directed Exploration）： 用前向的、覆盖概率质量的 KL 散度（针对网络自身的 MCTS 先验）取代了标准的熵奖励（对均匀分布的反向 Kullback-Leibler 散度）。这确保了探索能够聚焦于先验认为是很有潜力的走法。 * 熵自适应采样温度（Entropy-Adaptive Sampling Temperature）： 受价值头的结果不确定性控制，一旦局面分出胜负，该温度就会变得尖锐（加速收敛）。

Key Findings & Results

Performance Boost: Within roughly 2,000 steps, puzzle accuracy on a 100,000-puzzle suite increased from 93.9% to 94.9%, and mate-in-four accuracy rose from 77% to 81%, all while maintaining base searchless strength.
Tactical vs. Strategic Strength Dissociation: When measuring tactical accuracy and playing strength across a matched-compute sweep, the two metrics dissociate:
A control model fine-tuned exclusively on puzzles posted the highest tactical gains but dropped approximately 260 Elo, proving that a better puzzle-solver does not inherently make a stronger player.
Distribution-Level Insights:
Without a regularizer, self-play collapses onto a single line of play.
The newly solved puzzles correspond to "near misses" whose winning moves were kept alive by the prior.
The forward-KL prior achieves the highest rating on the leaderboard, performing on par with a reverse-KL anchor that concentrates twice as hard but discards difficult solutions which the mass-covering prior preserves.

关键发现与结果

性能提升： 在大约 2,000 个训练步内，包含 100,000 个谜题的测试集上的谜题准确率从 93.9% 提升至 94.9%，四步杀（mate-in-four）准确率从 77% 提升至 81%，同时完全保持了基础的免搜索强度。

战术强度与战略强度的解耦： 在匹配计算量的扫描测试中衡量战术准确率和对弈强度时，这两个指标呈现出解耦状态：

仅针对谜题进行微调的对照模型取得了最高的战术提升，但 Elo 评分下降了约 260，这证明了一个更好的谜题解法器并不必然会成为一个更强的棋手。

分布层面的深入洞察：

如果没有正则化器，自博弈会坍缩到单一的对局路线上。

新解出的谜题对应于“险些错过”的情况，其获胜走法由于先验的作用得以保留。

前向 KL 先验在排行榜上实现了最高评分，其表现与反向 KL 锚点不相上下（后者集中度加倍，但会丢弃困难的解，而覆盖概率质量的前向先验则将这些解保留了下来）。