跳转至

文章背景与核心概要

在信息检索（IR）和检索增强生成（RAG）系统中，如何将长文档切分为有效的片段是决定检索质量的关键。传统的固定长度或基于语义连贯性的分块方法往往忽略了用户的实际查询意图，导致检索结果被割裂或包含大量无关噪声。

本文提出了一种名为“意图驱动动态分块”（Intent-Driven Dynamic Chunking, IDC）的新方法。该方法利用大语言模型（LLM）预测文档中可能包含的用户查询意图，并结合动态规划算法，寻找全局最优的文档切分边界。这种方法不仅避免了贪婪算法带来的局部最优缺陷，还在保持高答案覆盖率的同时，显著减少了分块数量，在多个数据集上大幅提升了检索准确率。

意图驱动的动态分块：基于预测信息需求的文档切分方法

摘要

将长文档拆分为较小的片段是信息检索中的一个基础性挑战。无论是对于搜索引擎、问答系统还是检索增强生成（RAG），有效的切分方式直接决定了系统定位和返回相关信息的能力。然而，传统的切分方法（如固定长度或基于连贯性的切分）忽略了用户意图，导致分块内容割裂了答案或包含了无关噪声。

Breaking long documents into smaller segments is a fundamental challenge in information retrieval. Whether for search engines, question-answering systems, or retrieval-augmented generation (RAG), effective segmentation determines how well systems can locate and return relevant information. However, traditional methods, such as fixed-length or coherence-based segmentation, ignore user intent, leading to chunks that split answers or contain irrelevant noise.

我们引入了意图驱动动态分块（IDC），这是一种利用预测的用户查询来指导文档切分的新颖方法。IDC 利用大语言模型为文档生成潜在的用户意图，随后采用动态规划算法寻找全局最优的切分边界。这是动态规划在意图感知切分领域的一次创新应用，有效规避了贪婪算法的缺陷。

We introduce Intent-Driven Dynamic Chunking (IDC), a novel approach that uses predicted user queries to guide document segmentation. IDC leverages a Large Language Model to generate likely user intents for a document and then employs a dynamic programming algorithm to find the globally optimal chunk boundaries. This represents a novel application of DP to intent-aware segmentation that avoids greedy pitfalls.

我们在包括新闻文章、维基百科、学术论文和技术文档在内的六个多样化问答数据集上对 IDC 进行了评估。结果显示，IDC 在五个数据集上的表现优于传统切分策略，将 Top-1 检索准确率提升了 5% 到 67%，并在第六个数据集上与最佳基准持平。此外，IDC 在实现 93-100% 答案覆盖率的同时，产生的切分块数量比基准方法减少了 40-60%。这些结果表明，将文档结构与预期信息需求对齐，能够显著提升检索性能，特别是在处理长文档和异构文档时效果尤为明显。

We evaluated IDC on six diverse question-answering datasets, including news articles, Wikipedia, academic papers, and technical documentation. IDC outperformed traditional chunking strategies on five datasets, improving top-1 retrieval accuracy by 5% to 67%, and matched the best baseline on the sixth. Additionally, IDC produced 40-60% fewer chunks than baseline methods while achieving 93-100% answer coverage. These results demonstrate that aligning document structure with anticipated information needs significantly boosts retrieval performance, particularly for long and heterogeneous documents.

文档元数据

元数据字段 详情
arXiv 标识符 arXiv:2602.14784 [cs.IR]
作者 Christos Koutsiaris
提交日期 2026年2月16日
主要学科 信息检索 (cs.IR)
交叉学科 人工智能 (cs.AI), 计算与语言 (cs.CL), 机器学习 (cs.LG)
ACM 分类 H.3.3; I.2.7
DOI 10.48550/arXiv.2602.14784
许可协议 知识共享 署名-非商业性使用-禁止演绎 4.0 license icon
Metadata Field Details
arXiv Identifier arXiv:2602.14784 [cs.IR]
Authors Christos Koutsiaris
Submitted Date February 16, 2026
Primary Subject Information Retrieval (cs.IR)
Cross-Subjects Artificial Intelligence (cs.AI), Computation and Language (cs.CL), Machine Learning (cs.LG)
ACM Classes H.3.3; I.2.7
DOI 10.48550/arXiv.2602.14784
License Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 license icon

链接与资源