跳转至

文章背景与核心概要

在大语言模型 (LLM) 的多步复杂推理中，传统方法通常依赖“思维链” (Chain-of-Thought, CoT) 将思考步骤逐一解码为离散的 Token，但这往往会带来巨大的计算开销与显存瓶颈。为了突破这一限制，近期的连续思维与循环架构尝试将推理过程直接置于固定维度的隐状态向量中，利用向量的“叠加”能力同时表征多种备选思考。然而，一个根本性的理论难题在于：随着推理逐步推进，连续思维向量究竟该保留哪些历史信息？

本文针对这一核心问题开展了严谨的理论与容量分析，得出了一项反直觉的关键发现：相比于只保留最新的即时推理前沿，将全部历史推导累积叠加进向量中，在面对相同的下游计算时反而能够显著降低所需的表征维度。其深层原因在于，包含有效信息的历史成分在向量空间中能够相干互强，而无关的备选项只会产生相互抵消的随机噪声。此外，研究还证明了在未来信息效用未知时，“均匀累积加权”具有极小化极大 (Minimax) 最优性。这项工作成功将隐空间中的叠加态从一种经验观察升华为构建高效、稳健神经推理系统的严谨架构设计原则。

一个向量能容纳多少思维？叠加推理的表征容量

How Many Thoughts Can a Vector Hold? The Capacity of Reasoning by Superposition

  • arXiv 编号： 2609.13747 [cs.AI]
  • 作者： Hongyu Gu, Chang Liu, Jingwen Fu
  • 提交时间： 2026年9月12日
  • 主要学科： 人工智能 (cs.AI)
  • 备注说明： 20 页，4 张图表
  • arXiv ID: 2609.13747 [cs.AI]
  • Authors: Hongyu Gu, Chang Liu, Jingwen Fu
  • Submitted: September 12, 2026
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Comments: 20 pages, 4 figures

摘要概要

Abstract Summary

大语言模型 (Large Language Model, LLM) 在解决复杂难题时，通常采用多步推理机制，将中间的思考推导过程显式编码为一个接一个的离散 Token，这就是我们熟知的思维链 (Chain-of-Thought, CoT)。然而，近期涌现的连续与循环计算方法，尝试将部分推理计算转移到固定维度的隐状态中，使得单个向量能够同时叠加多种可能的备选思维。

Large language models typically solve complex problems through multi-step reasoning by encoding intermediate computations as discrete tokens (Chain-of-Thought). However, recent continuous and recurrent methods shift partial computations into fixed-dimensional latent states where a single vector can superpose multiple alternative thoughts simultaneously.

针对这一新兴范式，本文深入探究了一个底层的核心设计问题：随着推理的步步推进，连续思维向量究竟应当保留哪些信息？

This paper investigates a fundamental design question: What should continuous thoughts preserve as reasoning proceeds?

  • 反直觉的核心发现： 直觉通常认为，与仅保留当前的即时推理前沿相比，将全部推理历史都保留在向量中 (即累积叠加) 会稀释向量状态并浪费表征容量；但作者的研究表明，在完成相同下游计算任务时，累积叠加实际上反而只需要更低的表征维度。
  • 背后的作用机制： 携带有价值信息的历史思维成分在向量空间中能够彼此相干增强，而无关的备选项则只会带来相互抵消的随机干扰。
  • 架构设计准则： 论文深入探讨了在未来信息效用未知的情况下，模型该如何为隐状态中累积的记忆赋予权重。虽然优先考虑近期或显著的信息看似合理，但容易造成“弱表征”瓶颈；而均匀累积加权能够彻底避免这一缺陷，并被证明在保障未来稳健推理方面具有极小化极大最优性 (Minimax-Optimal)。
  • The Counter-Intuitive Finding: While intuition suggests that retaining full reasoning history (cumulative superposition) would dilute states and waste representational capacity compared to keeping only the immediate reasoning frontier, the authors demonstrate that cumulative superposition can actually require lower representational dimensions under identical downstream computations.
  • The Mechanism: Informative historical components coherently reinforce one another, whereas unrelated alternatives introduce random interference.
  • The Design Principle: The paper addresses how models should weight memories accumulated inside latent states when future utility is unknown. While prioritizing recent or salient items creates weak-representation bottlenecks, uniform cumulative weighting avoids this flaw and is proven to be minimax-optimal for robust future reasoning.

总的来说，这项研究将隐空间中的“叠加态”现象，从一种单纯被观察到的神经网络经验现象，升华为了指导高效、高可靠神经计算的严谨架构设计原则。

Ultimately, this research turns superposition from a mere observed latent-space phenomenon into a rigorous design principle for efficient, reliable neural computation.

文档元数据

Document Metadata

元数据字段 详情
引用方式 arXiv:2609.13747 [cs.AI]
DOI 链接 10.48550/arXiv.2609.13747
许可协议 知识共享署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)
Metadata Field Details
Cite As arXiv:2609.13747 [cs.AI]
DOI 10.48550/arXiv.2609.13747
License Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International

全文与参考文献链接

Full-Text & References Links

注：本文档包含衍生自仓库构建流水线的许可证图标 (例如：<img alt="license icon" role="presentation" src=".././images/079cd8198ba3.png"> )。

Note: This document incorporates license graphics derived from the repository pipeline (e.g., <img alt="license icon" role="presentation" src=".././images/079cd8198ba3.png">).