土耳其语RAG系统中分块与嵌入策略的对比研究

文章背景与核心概要

本研究探讨了文档分块和嵌入策略对检索增强生成（RAG）性能的影响，聚焦于形态丰富的土耳其语。通过在多种配置下评估9,000个分级问答对，研究发现：版面感知分块显著缩小了不同嵌入模型之间的性能差距；语言专业化并未内生地带来检索优势；实现最佳RAG性能需要根据特定的内容类型精细调整组件，而不是简单地组合顶级单项工具。

这项研究填补了形态丰富语言在RAG系统优化方面的空白，通过严谨的实验设计和统计检验，为非英语大语言模型应用提供了重要的实践参考和理论依据。

摘要 (Summary)

This research investigates the impact of document chunking and embedding strategies on Retrieval-Augmented Generation (RAG) performance in Turkish—a morphologically rich language. Evaluating 9,000 graded question-answer pairs across multiple configurations, the study reveals that layout-aware chunking significantly narrows the performance gap between embedding models, language specialization does not inherently yield retrieval advantages, and optimal RAG performance requires carefully tailoring components to specific content types rather than simply combining top-tier individual tools.

本研究探讨了文档分块和嵌入策略对土耳其语（一种形态丰富的语言）检索增强生成（RAG）性能的影响。通过在多种配置下评估9,000个分级问答对，研究表明：版面感知分块（layout-aware chunking）显著缩小了嵌入模型之间的性能差距；语言专业化并不自然地带来检索优势；最佳的RAG性能需要针对特定内容类型仔细调整各个组件，而不是简单地将顶级的单个工具组合在一起。

文档元数据 (Document Metadata)

arXiv ID: arXiv:2608.26192 [cs.CL]
学科分类 (Subjects): 计算与语言 (cs.CL); 人工智能 (cs.AI)
会议收录 (Conference): 已被 INTCEC 2026 接受（作者预印本版本）
提交日期 (Submission Date): 2026年8月24日
DOI: 10.48550/arXiv.2608.26192

作者 (Authors)

Mustafa Sertaç Türkel
Fatma Nur Korkmaz
Ahmet Tuğrul Bayrak

摘要详情 (Abstract)

How documents are segmented into retrievable chunks and how those chunks are embedded strongly affect Retrieval-Augmented Generation (RAG) quality, yet neither has been systematically studied for morphologically rich languages such as Turkish.

We compare Turkish document question answering across: * Three chunking strategies: Fixed-length, semantic, and layout-aware Docling. * Five embedding models * Two generator LLMs

This evaluation is performed over three documents with contrasting layouts. The fully crossed design yields 9,000 graded question-answer evaluations, each scored by an independent judge model, and component comparisons are tested by paired McNemar tests under Holm correction.

文档如何被分割成可检索的块以及这些块如何进行嵌入，强烈影响着检索增强生成（RAG）的质量，然而对于土耳其语等形态丰富的语言，这两者均未被系统地研究过。

我们对土耳其语文档问答进行了对比，涵盖： * 三种分块策略： 固定长度（Fixed-length）、语义分块（semantic）以及基于 Docling 的版面感知分块（layout-aware Docling）。 * 五种嵌入模型 * 两个生成器大语言模型 (LLMs)

该评估是在三个具有鲜明版面风格的文档上进行的。这种完全交叉的设计产生了 9,000 个分级问答评估，每个评估都由独立的评判模型打分，并且组件比较是通过在霍姆校正（Holm correction）下的配对麦克内马尔检验（McNemar tests）进行测试的。

核心发现 (Key Findings)

Chunking Moderates Embedding Impact: The chosen chunking strategy dictates how much the embedding choice matters. Specifically, layout-aware chunking compresses the spread between modern embedding models down to roughly a single point.

Parity Among Leading Models: The three leading embedding models are statistically indistinguishable, indicating that language-specific specialization offers no measurable retrieval advantage.

Speed vs. Accuracy: The faster generator is not necessarily the more accurate one.

Content-Dependent Preferences: The preferred configuration heavily depends on the content type. For instance, layout-aware chunking aids documents containing tables far more effectively than standard prose.

Ultimately, the study demonstrates that the best individual components do not automatically compose into the optimal complete configuration, which achieves a peak performance of 87.0%.

分块调节了嵌入的影响： 所选的分块策略决定了嵌入选择的重要性程度。具体而言，版面感知分块将现代嵌入模型之间的性能差距压缩到大约一个百分点以内。
领先模型之间的平价： 三个领先的嵌入模型在统计上没有区别，这表明特定语言的专业化并没有带来可测量的检索优势。
速度与准确性： 更快的生成器不一定更准确。
内容依赖偏好： 首选的配置很大程度上取决于内容类型。例如，相比标准散文，版面感知分块在处理包含表格的文档时更为有效。

最终，该研究表明，最佳的单个组件并不会自动组合成最佳的完整配置，该完整配置实现了 87.0% 的峰值性能。