跳转至

大语言模型中思维链推理的平均场动力学

文章背景与核心概要

近年来，具备思维链（CoT）推理能力的大语言模型（LLMs）得到了广泛应用，深入探究其行为背后的理论解释有助于深化我们对其机制的理解并指导模型优化。本文提出了一种全新的理论框架，旨在探寻大语言模型推理过程中的统计规律和理论解释，同时避免了对模型架构的简化或对现有物理系统的生硬类比。

作者将大语言模型的推理过程建模为“线索图”（clue graph）上的引导式发现过程，并通过平均场近似推导出一个用于预测已发现线索比例的一维常微分方程。在实验验证中，研究人员通过学生模型对教师模型输出的归一化困惑度（normalized surprisal）来识别线索 Token，并通过对大量推理思维链进行平均来获取统计规律。实验表明，所得的统计规律在同一数据集内具有高度可复现性，并且能够通过求解所提出的理论方程进行精确拟合。

摘要 (Summary)

This paper introduces a theoretical framework to analyze the chain-of-thought (CoT) reasoning behaviors of Large Language Models (LLMs) without relying on simplified model architectures or physical analogies. By modeling LLM reasoning as a guided discovery process on a "clue graph," the author applies the mean-field approximation to derive a one-dimensional ordinary differential equation that predicts the fraction of discovered clues. Experimental validation demonstrates that these statistical regularities are reproducible and align closely with the proposed theoretical model.

本文引入了一个理论框架，用于分析大语言模型（LLMs）的思维链（CoT）推理行为，且不依赖于简化的模型架构或物理类比。通过将大语言模型的推理建模为“线索图”上的引导式发现过程，作者应用平均场近似推导出了一个一维常微分方程，用于预测已发现线索的比例。实验验证表明，这些统计规律具有可复现性，且与所提出的理论模型高度吻合。

文档元数据 (Document Metadata)

  • arXiv Identifier: arXiv:2608.05152 [cs.CL]
  • Title: Mean-Field Dynamics of Chain-of-Thought Reasoning in Large Language Models
  • Author: Hao Ai
  • Primary Subject: Computation and Language (cs.CL)
  • Secondary Subject: Artificial Intelligence (cs.AI)
  • Submitted On: 20 May 2026
  • DOI: 10.48550/arXiv.2608.05152
  • arXiv 标识符： arXiv:2608.05152 [cs.CL]
  • 标题： 大语言模型中思维链推理的平均场动力学 (Mean-Field Dynamics of Chain-of-Thought Reasoning in Large Language Models)
  • 作者： Hao Ai
  • 主要主题： 计算与语言 (cs.CL)
  • 次要主题： 人工智能 (cs.AI)
  • 提交时间： 2026年5月20日
  • DOI： 10.48550/arXiv.2608.05152

摘要详述 (Abstract)

Large language models (LLMs) with chain-of-thought reasoning have been widely applied in recent years, and theoretical explanations of their behavior may help deepen our understanding and guide model optimization.

近年来，具备思维链推理的大语言模型（LLMs）得到了广泛应用，对其行为的理论解释有助于深化我们对其理解并指导模型优化。

In this study, we introduce a framework that seeks statistical regularities and theoretical interpretations in LLM reasoning without simplifying the model architecture or making analogies to existing physical systems. We formulate LLM reasoning as a guided discovery process on a clue graph, and derive a one-dimensional ordinary differential equation for the fraction of discovered clues using the mean-field approximation.

在这项研究中，我们引入了一个框架，旨在探寻 LLM 推理中的统计规律和理论解释，同时不简化模型架构，也不与现有物理系统进行类比。我们将 LLM 推理构想为线索图上的引导式发现过程，并利用平均场近似推导出了描述已发现线索比例的一维常微分方程。

Experimentally, clue tokens are identified using the normalized surprisal of a student LLM on the outputs of a teacher LLM, and statistical regularities are obtained by averaging over many reasoning chains of thought. Our experiments show that the resulting statistical regularities are reproducible within the same dataset and can be fitted by solving the proposed theoretical equation.

在实验方面，线索 Token 是通过学生 LLM 对教师 LLM 输出的归一化困惑度来识别的，统计规律则是通过对多个推理思维链进行平均得到的。我们的实验表明，由此产生的统计规律在同一数据集内是可复现的，并且可以通过求解所提出的理论方程来拟合。

访问与全文资源 (Access & Full-Text Resources)

外部参考与工具 (External References & Tools)