跳转至

文章背景与核心概要

在复杂的检索增强生成（RAG）系统中，智能体通过在多个推理跳跃（hops）之间交织检索、推理和答案生成来处理复杂的查询。然而，诊断系统在何处失效极其困难：在第一跳引入的错误可能直到第三跳才表现为最终答案错误，而后续的检索步骤在此过程中可能会无意中掩盖或修复整个轨迹。

为了解决这一问题，本文推出了 AgenticRAG-FP，这是一个专为多跳智能体RAG中的因果故障归因（Causal Failure Attribution）而设计的干预性基准测试。通过在精确指定的跳数注入经过证实的故障、重新执行下游轨迹，并对照已知干预评估诊断器，该研究揭示了诸如传播深度等关键评估维度，并为未来提高智能体RAG系统的可解释性与可靠性指明了方向。

当故障发生扩散：智能体检索增强生成中的因果故障归因 (When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation)

作者： Lauren Pothuru
提交时间： 2026年8月20日
主要学科： 计算与语言 (cs.CL)、人工智能 (cs.AI)
arXiv 链接： 2608.20627 [cs.CL]
许可证： 知识共享署名 4.0 (查看许可证图标：license icon)

摘要 (Summary)

Agentic retrieval-augmented generation (RAG) systems tackle complex queries by interleaving retrieval, reasoning, and answer generation across multiple hops. However, diagnosing where a system fails is notoriously difficult: an error introduced at the first hop may only manifest as an incorrect final answer at the third hop, while subsequent retrieval steps might inadvertently mask or repair the trajectory along the way.

智能体检索增强生成（RAG）系统通过在多个跳转之间交织检索、推理和答案生成来处理复杂查询。然而，诊断系统在何处失效异常困难：在第一跳引入的错误可能直到第三跳才表现为错误的最终答案，而随后的检索步骤在此过程中可能会无意中掩盖或修复轨迹。

To address this, AgenticRAG-FP is introduced as a new interventional benchmark designed for causal failure attribution in multi-hop agentic RAG.

为了解决这一问题，本文推出了 AgenticRAG-FP，这是一个作为全新干预性基准测试的框架，专为多跳智能体RAG中的因果故障归因而设计。

核心方法与发现 (Key Methodology & Findings)

  • Interventional Benchmark Design: The framework injects a certified fault at a precisely specified hop, re-executes the downstream trajectory, and evaluates diagnosers against the known intervention. It investigates whether a post-hoc trace can accurately pinpoint the originally injected fault despite changes to the trajectory suffix.
  • 干预性基准设计： 该框架在精确指定的跳转处注入经过证实的故障，重新执行下游轨迹，并对照已知干预评估诊断器。它研究了事后追踪（post-hoc trace）是否能够在轨迹后缀发生变化的情况下，准确精确定位最初注入的故障。
  • Strict Dense Claude Haiku 4.5 Sweep: Evaluated on 80 three-hop MuSiQue questions, coverage-based diagnosis yielded success rates of 0.91 at hop 1, dropping drastically to 0.00 at hops 2 and 3 (\(n=43, 36, 21\) failed trajectories, respectively).
  • 严格密集 Claude Haiku 4.5 扫描： 在 80 个三跳 MuSiQue 问题上进行评估时，基于覆盖率的诊断在第 1 跳时的成功率为 0.91，而在第 2 跳和第 3 跳时骤降至 0.00（失败轨迹数分别为 \(n=43, 36, 21\)）。
  • Content-Corruption Study: Modifying an answer-bearing or bridge fact within topically intact evidence left 18 failed cases at depth 2. Here, coverage-based diagnosis dropped to 0.00, whereas a frozen-hop counterfactual probe achieved 0.67 in an exploratory pooled comparison. Depth-3 content estimates remained purely descriptive due to a small sample size of three failed cases.
  • 内容损坏研究： 在主题完整的证据中修改包含答案或桥接的事实，在深度 2 处留下了 18 个失败案例。在此情况下，基于覆盖率的诊断率降至 0.00，而冻结跳数反事实探测（frozen-hop counterfactual probe）在探索性合并比较中达到了 0.67。由于深度 3 只有三个失败案例的小样本量，其内容估计值仅具描述性。

结论 (Conclusion)

These findings establish propagation depth as a critical, explicit evaluation axis for diagnosing agentic RAG failures. Furthermore, they successfully distinguish broad evidence of post-hoc signal loss from small-sample method comparisons.

这些发现确立了传播深度作为诊断智能体 RAG 故障的关键且显式的评估维度。此外，它们成功地将事后信号丢失的广泛证据与小样本方法比较区分开来。