跳转至

智能体上下文破解：通过非结构化数据的自适应构建实现Token高效的数据推理智能体

文章背景与核心概要

企业级人工智能极大地依赖大语言模型（LLM）智能体来对非结构化数据源（如网页、报告、合同、备案文件、财报电话会议和PDF）进行推理。然而，目前的做法会产生过高的Token成本。每个查询都需要反复打开大型文档以检索分散的证据，消耗高达数百万个Token。

尽管预先构建所有数据可以大幅减少这一开销（例如，在 FanOutQA 基准测试上实现 28倍的成本降低），但穷尽式的提前结构化是不可行的，因为文档包含的潜在结构远超任何单一工作负载的需求，且所需的结构在查询到达之前是未知的。

为了解决这一问题，作者提出了智能体数据破解（Agentic Data Cracking）——这是一种新颖的范式，它将非结构化数据的结构化过程作为推理过程本身的副产品，进行自适应且推测性的构建。

📌 执行摘要

作者： Milad Rezaei Hajidehi, Qitong Wang, Stratos Idreos
标识符： [arXiv:2608.31082 [cs.AI]] | DOI: 10.48550/arXiv.2608.31082
提交历史： 2026年8月31日提交；2026年9月4日最后修订 (v2)。

Authors: Milad Rezaei Hajidehi, Qitong Wang, Stratos Idreos
Identifiers: [arXiv:2608.31082 [cs.AI]] | DOI: 10.48550/arXiv.2608.31082
Submission History: Submitted on 31 Aug 2026; last revised 4 Sep 2026 (v2).

企业AI严重依赖大语言模型（LLM）智能体来对非结构化数据源（如网页、报告、合同、备案文件、财报电话会议和PDF）进行推理。然而，这样做目前会产生令人高昂的Token成本。每个查询都会重复打开大型文档来恢复分散的证据，消耗多达 一百万个Token。

Enterprise AI heavily relies on Large Language Model (LLM) agents to reason over unstructured data sources—such as web pages, reports, contracts, filings, earnings calls, and PDFs. However, doing so currently incurs a prohibitive token cost. Each query repeatedly opens large documents to recover scattered evidence, consuming up to one million tokens.

虽然预先对所有数据进行结构化处理可以显著减少这一开销（例如，在 FanOutQA 基准测试上实现 28倍的成本降低），但穷尽式的提前结构化是不可行的，因为文档包含的潜在结构远远超过任何单一工作负载的需求，并且在查询到来之前，所需的结构是未知的。

While pre-structuring all data would dramatically reduce this overhead (e.g., a 28× cost reduction on the FanOutQA benchmark), exhaustive advance structuring is infeasible because documents contain vastly more potential structure than any single workload requires, and the necessary structures remain unknown until queries arrives.

为了解决这个问题，作者提出了智能体数据破解（Agentic Data Cracking）——这是一种新颖的范式，它将非结构化数据的结构化过程作为推理过程本身的副产品，进行自适应且推测性的构建。

To solve this, the authors propose Agentic Data Cracking—a novel paradigm that structures unstructured data adaptively and speculatively as a byproduct of the reasoning process itself.

🔍 核心概念与方法论

  • 自适应结构化： 观察到的用户查询决定了结构化何时发生以及什么数据是重要的。
  • 推测性提取： 每当智能体打开文档来回答查询时，一个破解子智能体就会从已经加载的上下文中以边际成本派生（fork）出来。该子智能体提取可能服务于相关未来查询的有依据的结构。
  • 累积智能： 随着时间的推移，越来越多的查询被结构化数据完全覆盖，并且可以立即回答而无需重新打开文档，从而使智能体准确率保持在接近标准检索增强生成（RAG）的成本水平。
  • Adaptive Structuring: Observed user queries dictate when structuring occurs and what data matters.
  • Speculative Extraction: Whenever an agent opens a document to answer a query, a cracking sub-agent forks from the already-loaded context at marginal cost. This sub-agent extracts grounded structure likely to serve related future queries.
  • Accumulated Intelligence: Over time, a growing share of queries are fully covered by structured data and can be answered instantly without reopening documents, keeping agentic accuracy close to standard Retrieval-Augmented Generation (RAG) costs.

📊 结果与性能

  • 成本效益： 在扩展了每个测试问题仅一个相关问题的 FanOutQA 基准测试中，智能体数据破解在完全保持准确率的同时，将运营成本降低了 53%。
  • 可扩展性： 随着查询扩展到多个文档，与传统的非结构化检索相比，效率差距从数倍扩大到数个数量级。
  • 基础设施影响： 智能体数据破解为下一代数据基础设施奠定了基础性的第一步——在模型之下的共享底层，一旦被推理揭示，知识就会持久累积。
  • Cost Efficiency: On the FanOutQA benchmark extended with just one related question per test question, agentic data cracking cuts operational costs by 53% while completely preserving accuracy.
  • Scalability: As queries fan out over multiple documents, the efficiency gap widens from multiples to orders of magnitude compared to traditional unstructured retrieval.
  • Infrastructure Impact: Agentic data cracking establishes a foundational first step toward next-generation data infrastructure—a shared substrate beneath the model where knowledge, once uncovered by reasoning, persistently accumulates.

🔗 访问与资源

(注：许可证图标取自 arXiv 仓库: license icon)

(Note: License icon utilized from arXiv repository: license icon)