训练知识库：面向智能体策展文档库的监督式结构学习
文章背景与核心概要
传统的检索增强生成（RAG）系统通常依赖于冻结的静态文档库，并对整个语料库采用无监督的索引结构，这种方式对用户可能提出的具体问题是不可知的。本文提出了一种范式转变，将知识库视为一个在 (问题, 答案) 对上进行训练的“非参数模型”。在这个框架中，策展智能体首先尝试使用当前文档库回答监督式问题，随后获取真实标准答案并据此对文档库进行编辑，更新后的文档库得以保留，并在未见过的测试集上评估其性能。
利用两个免污染的基准测试——KGBym（一个新发布的小说宇宙生成器）和 PhantomWiki，作者证明了与传统基准方法相比，智能体策展的文档库在泛化能力和效率上都能进行有效扩展。该研究不仅大幅提升了F1分数，还显著减少了智能体所需的动作次数，展示了在更广泛的语料覆盖下强大的泛化潜力。
📌 摘要 / Summary
Traditional retrieval-augmented generation (RAG) typically relies on a frozen, static document store with unsupervised indexing structures applied uniformly across the entire corpus, agnostic to the specific questions users might ask.
传统的检索增强生成（RAG）系统通常依赖于冻结的静态文档库，并对整个语料库采用无监督的索引结构，这种方式对用户可能提出的具体问题是不可知的。
This paper introduces a paradigm shift by treating the knowledge base as a non-parametric model trained on (question, answer) pairs. In this framework:
1. A curator agent attempts to answer a supervised question using the current store.
2. The agent is then provided with the "gold" (ground truth) answer and edits the document store accordingly.
3. The updated store carries forward, and its performance is evaluated on unseen test sets.
本文提出了一种范式转变，将知识库视为一个在
(问题, 答案)对上进行训练的非参数模型。在该框架中： 1. 策展智能体（Curator agent）尝试使用当前的文档库回答一个监督式问题。 2. 随后向智能体提供“黄金”（真实标准）答案，并据此对文档库进行编辑。 3. 更新后的文档库得以保留，并在未见过的测试集上评估其性能。
Using two contamination-free benchmarks—KGBym (a newly released fictional-universe generator) and PhantomWiki—the authors demonstrate that agent-curated stores scale effectively in generalization and efficiency compared to traditional baseline approaches.
利用两个免污染的基准测试——KGBym（一个新发布的小说宇宙生成器）和 PhantomWiki——作者证明了与传统基准方法相比，智能体策展的文档库在泛化能力和效率上都能实现有效扩展。
🔍 关键发现与泛化探查 / Key Findings & Generalization Probes
The researchers tested generalization by categorizing question groups based on their decreasing overlap with the training set: * Trained Questions: Direct overlap with the training dataset. * Unseen Questions with High Overlap: Sharing both keys with the training data. * Unseen Questions with Partial Overlap: Sharing only one key. * Unseen Questions with No Overlap: Sharing neither key.
研究人员通过根据问题组与训练集的重叠度递减进行分类来测试泛化能力： * 已训练问题（Trained Questions）： 与训练数据集直接重叠。 * 高重叠度未见问题（Unseen Questions with High Overlap）： 与训练数据共享两个键。 * 部分重叠度未见问题（Unseen Questions with Partial Overlap）： 仅共享一个键。 * 无重叠度未见问题（Unseen Questions with No Overlap）： 两个键都不共享。
Performance Highlights:
- Advantage Scaling: The curated store's advantage grows proportionally with input overlap:
- No key shared: Performs at parity.
- Both keys shared: Yields a +0.176 F1 score improvement.
- Trained questions: Achieves 25% fewer actions alongside a +0.294 F1 score improvement (the only cell showing statistical significance across both benchmarks).
- Efficiency: Matches HippoRAG’s performance gains utilizing only 1,913 links compared to HippoRAG’s 196,112 links—achieving 1.5× the action savings and 2.1× the accuracy gain per point of corpus covered.
- Coverage Scaling: Accuracy scales steadily with the share of the corpus indexed, indicating that training on a broader set of questions successfully broadens overall coverage and downstream generalization.
性能亮点：
- 优势扩展： 策展文档库的优势随着输入重叠度的增加而成比例增长：
- 未共享键： 表现相当。
- 共享双键： F1 分数提升了 +0.176。
- 已训练问题： 减少了 25% 的操作步骤，同时 F1 分数提升了 +0.294（这是在两个基准测试中唯一展现出统计显著性的单元格）。
- 效率： 仅利用 1,913 个链接 就达到了 HippoRAG 的性能增益（相比之下 HippoRAG 需要 196,112 个链接）——在每个语料覆盖点上实现了 1.5倍的操作节省 和 2.1倍的准确率提升。
- 覆盖范围扩展： 准确率随着索引语料库份额的增加而稳步扩展，这表明在更广泛的问题集上进行训练成功地拓宽了总体覆盖范围和下游泛化能力。