跳转至

文章背景与核心概要

在法律等高精度、强合规要求的领域中，大语言模型（LLM）的幻觉问题一直是阻碍其规模化落地的核心痛点。虽然检索增强生成（RAG）技术被广泛认为是缓解幻觉的有效手段，但其在法律文本处理中的实际表现究竟如何？本文作者 Souvick Das、Sallam Abualhaija 和 Domenico Bianculli 针对这一问题展开了深入研究，评估了 8 个不同的 RAG 系统在英语《通用数据保护条例》（GDPR）和法国国家民事法典两个法律语料库上的表现。

研究发现，尽管底层技术不断进步，法律 RAG 系统的幻觉现象依然十分普遍。顶级系统的错误率可以控制在 10% 以下，但表现较差的模型错误率接近 50%。尤为值得注意的是，当遇到包含错误假设的“虚假前提”问题时，系统往往会顺着错误诱导生成幻觉。该研究通过细粒度的声明级和答案级评估，并结合法律专家的严格验证，为理解和改进法律 AI 系统的可靠性提供了关键的基准参考。

法律检索增强生成（RAG）系统的幻觉问题究竟有多严重？

arXiv ID: 2608.14210
作者: Souvick Das, Sallam Abualhaija, Domenico Bianculli
提交时间: 2026年8月14日
研究主题: 计算与语言 (cs.CL)；人工智能 (cs.AI)

摘要

Summary This research investigates the persistence of hallucinations in Retrieval-Augmented Generation (RAG) systems within the legal domain. By evaluating eight distinct RAG systems across two legal corpora—the GDPR (English) and a national civil law (French)—the authors provide a fine-grained analysis of hallucination density and severity. The study reveals that hallucinations remain a significant issue, with error rates ranging from under 10% for top-tier systems to nearly 50% for the least effective models. Notably, the research highlights that "false-premise" questions—queries containing incorrect assumptions—frequently trigger high rates of hallucination.

这项研究调查了法律领域中检索增强生成（RAG）系统幻觉现象的持续存在情况。通过评估两个法律语料库（英语的 GDPR 和法国国家民事法典）中的八个不同 RAG 系统，作者对幻觉的密度和严重程度进行了细粒度分析。研究表明，幻觉仍然是一个重大问题，各系统的错误率差异显著：表现最好的系统错误率低于 10%，而表现最差的模型在处理近一半的响应时准确性堪忧。值得注意的是，研究强调，“虚假前提”问题（即包含错误假设的查询）经常会引发高频率的幻觉。

核心发现

1. 普遍存在的幻觉率

1. Pervasive Hallucination Rates The study demonstrates that despite advancements in RAG technology, hallucinations are still widespread. Performance varies significantly between systems, with the best-performing models maintaining a hallucination rate below 10%, while the worst-performing models struggle with accuracy in nearly half of their responses.

该研究表明，尽管 RAG 技术取得了进步，但幻觉现象依然十分普遍。不同系统之间的性能差异显著，表现最好的模型幻觉率保持在 10% 以下，而表现最差的模型在近一半的响应中都存在准确性问题。

2. 评估方法论

2. Evaluation Methodology The authors employed a dual-layered evaluation approach: * Claim-level evaluation: Assessing the accuracy of individual assertions within a response. * Answer-level evaluation: Assessing the overall reliability of the generated output. * Expert Validation: Findings were cross-verified against a set of 142 questions authored by legal experts to ensure real-world applicability.

作者采用了一种双层评估方法： * 声明级评估： 评估响应中单个断言的准确性。 * 答案级评估： 评估生成输出的整体可靠性。 * 专家验证： 将研究结果与由法律专家编写的 142 个问题进行交叉验证，以确保其在现实世界中的适用性。

3. “虚假前提”的挑战

3. The "False-Premise" Challenge A critical discovery of the paper is the vulnerability of RAG systems to false-premise questions. When a user provides a prompt containing an incorrect legal assumption, the systems often fail to reject the premise, instead generating a hallucinated response that validates the user's error.

该论文的一个关键发现是 RAG 系统对虚假前提问题的脆弱性。当用户提供的提示词包含不正确的法律假设时，系统往往无法拒绝该前提，而是生成一段验证了用户错误的幻觉响应。

访问论文

Accessing the Paper * View PDF * HTML (Experimental) * TeX Source * DOI

引用与元数据

Citation & Metadata * Cite as: arXiv:2608.14210 [cs.CL] * License: View License * External Links: NASA ADS | Google Scholar | Semantic Scholar