跳转至

文章背景与核心概要

传统的思维链（CoT）推理主要在离散的标记（token）空间中展开，每一步都必须落实为具体的文本。这种方式容易导致错误累积，且高度依赖现有的推理轨迹来进行模仿。为了突破这些局限，本文提出了“潜在循环思考”（Latent Recurrent Thoughts, LRT）方法，将推理过程转移到模型的连续表征空间中，使用向量而非词语来表示中间状态。

LRT 通过一个协同框架运作：1. 冻结的LLM主干：保持大型语言模型处于冻结状态，充分利用其在序列建模和解码方面的固有优势；2. 辅助提议器：由一个专用网络提供初始的连续隐状态思维作为输入；3. 循环推理器：一个轻量级模块通过有界的残差修正，在多个步骤中对这些隐状态进行迭代精炼，从而有效地将计算深度与模型规模解耦。实验结果表明，在相同的解码器、提示词、计算预算和训练条件下，LRT 在符号任务和自然语言推理任务上均大幅超越了以往的冻结解码器连续空间推理方法，甚至在消耗极少推理算力的同时，超越了同等模型主干的常规思维链提示方法。

潜在循环思考：基于冻结大语言模型的连续隐空间循环精炼推理 (Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs)

作者： Zhaoliang Chen, Jie Fu
主要学科： 人工智能 (cs.AI) (交叉学科：计算与语言 cs.CL)
arXiv ID： 2609.01117
提交时间： 2026年9月1日

摘要 (Summary)

Traditional chain-of-thought (CoT) reasoning unfolds in discrete token space, where every step is committed as text. This exposes models to error propagation and relies heavily on existing reasoning traces to imitate. To bypass these limitations, Latent Recurrent Thoughts (LRT) shifts the reasoning process into the continuous representation space of a model, using vectors rather than words for intermediate states.

传统的思维链（CoT）推理在离散的标记（token）空间中展开，每一步都以文本形式确定。这使模型容易受到错误传播的影响，并严重依赖现有的推理轨迹来进行模仿。为了绕过这些局限性，潜在循环思考（Latent Recurrent Thoughts, LRT）将推理过程转移到模型的连续表征空间中，使用向量而不是词语来表示中间状态。

LRT operates through a collaborative framework: 1. Frozen LLM Backbone: Keeps a large language model frozen, leveraging its inherent strengths in sequence modeling and decoding. 2. Auxiliary Proposer: A task-dedicated network supplies the initial continuous latent thoughts as input. 3. Recurrent Reasoner: A lightweight module refines these latents iteratively over multiple steps through bounded residual corrections, effectively decoupling the depth of computation from the model size.

LRT 通过一个协同框架运作： 1. 冻结的 LLM 主干： 保持大型语言模型冻结，利用其在序列建模和解码方面的固有优势。 2. 辅助提议器： 一个专用于特定任务的网络提供初始的连续隐状态思维作为输入。 3. 循环推理器： 一个轻量级模块通过有界的残差修正，在多步中迭代精炼这些隐状态，从而有效地将计算深度与模型规模解耦。

核心结果 (Key Results)

  • Substantially outperforms prior frozen-decoder continuous-space reasoning methods across symbolic tasks (Countdown-4, Sudoku) and natural-language reasoning tasks (HumanEval, MBPP, StrategyQA) under identical decoders, prompts, budgets, and training conditions.
  • Outperforms non-thinking-mode chain-of-thought prompting on the same model backbone while consuming only a fraction of its inference compute.
  • 在相同的解码器、提示词、预算和训练条件下，在符号任务（Countdown-4、数独）和自然语言推理任务（HumanEval、MBPP、StrategyQA）中，大幅超越了先前的冻结解码器连续空间推理方法。
  • 在消耗极少推理算力的同时，性能超越了相同模型主干下的非思考模式思维链提示。

(许可协议参考：知识共享 署名-非商业性使用-相同方式共享 4.0 国际)