跳转至

医疗大语言模型因果知识图谱接地框架：心血管领域试点研究

文章背景与核心概要

当前的医疗决策支持大语言模型（LLM）评估往往过度侧重于单一答案的准确性，而忽视了对干预措施、底层机制、潜在危害、证据支持以及不确定性的严谨推理。这种局限性导致模型在面对复杂临床环境时，容易产生幻觉或缺乏可解释的医学依据。

为了解决这一痛点，本文作者提出了一种基于图结构的可复现评估框架，专门用于规范医疗场景下大语言模型面向干预措施的行为，并通过心血管领域的试点研究验证了其实用性。该框架核心包含四个部分：领域因果知识图谱、面向场景的子图提取、四种受控接地条件以及自动化标识符锚定评分流水线。试点结果表明，集成接地条件（C4）在因果边准确率、不良反应识别及证据准确性上表现最优，且大幅降低了无依据声明的发生率。

框架与执行摘要 (Executive Summary)

Current evaluations of Large Language Models (LLMs) in healthcare decision support heavily prioritize single-answer accuracy rather than rigorous reasoning regarding interventions, underlying mechanisms, potential harms, evidence, and uncertainty.

当前评估医疗决策支持中的大语言模型（LLM）时，往往严重偏向于单一答案的准确性，而忽视了对干预措施、底层机制、潜在危害、证据以及不确定性的严谨推理。

To address this limitation, the authors propose a reproducible, graph-centered evaluation framework for intervention-oriented LLM behavior in healthcare, demonstrating its utility via a cardiovascular pilot study. The framework comprises a domain causal knowledge graph, scenario-conditioned subgraph extraction, four controlled grounding conditions, and an automated identifier-anchored scoring pipeline.

为了解决这一局限性，作者提出了一种可复现的、以图为中心的评估框架，用于规范医疗领域中面向干预措施的 LLM 行为，并通过一项心血管试点研究展示了其效用。该框架由领域因果知识图谱、场景条件子图提取、四种受控接地条件以及自动化的标识符锚定评分流水线组成。

核心框架组件 (Key Framework Components)

  1. Domain Causal Knowledge Graph: Contains assertions structured as first-class, provenance-preserving nodes accompanied by stable identifiers.
  1. 领域因果知识图谱： 包含结构化的断言，这些断言作为一等、保留溯源的节点，并配有稳定的标识符。
  1. Scenario-Conditioned Subgraph Extraction: Automatically retrieves the relevant reified-assertion subgraph given any clinical scenario.
  1. 场景条件子图提取： 针对任意临床场景，自动检索相关的具体化断言子图。
  1. Controlled Grounding Conditions (C1–C4): Varies the method by which retrieved subgraphs are incorporated into the model's context:
  2. C1: Ungrounded
  3. C2: Knowledge-graph grounded
  4. C3: Causal-graph grounded
  5. C4: Integrated grounding
  1. 受控接地条件（C1–C4）： 改变将检索到的子图纳入模型上下文的方法：
  2. C1： 未接地（Ungrounded）
  3. C2： 知识图谱接地（Knowledge-graph grounded）
  4. C3： 因果图接地（Causal-graph grounded）
  5. C4： 综合接地（Integrated grounding）
  1. Automated Scoring Pipeline: Anchored on assertion identifiers to compute intervention accuracy and other evaluation metrics on a single pass.
  1. 自动化评分流水线： 锚定于断言标识符，以在单次遍历中计算干预准确率和其他评估指标。

试点结果与发现 (Pilot Results & Findings)

To test the framework, the authors built a category-balanced scenario generator spanning eight distinct reasoning failure modes, instantiating it on a cardiovascular knowledge graph.

为了测试该框架，作者构建了一个涵盖八种不同推理失败模式的类别平衡场景生成器，并将其实例化在心血管知识图谱上。

The evaluation metrics successfully discriminated the grounding conditions along interpretable, non-redundant axes: * Condition C4 (Integrated): Achieved the strongest causal edge F1 (0.838), adverse-effect F1 (0.833), evidence accuracy (0.738), and the lowest unsupported claim rate (0.114). * Condition C1 (Ungrounded): Achieved the highest raw intervention accuracy (0.948), yet exhibited no measurable causal or evidential grounding.

评估指标成功地沿着可解释的、非冗余的轴线区分了各个接地条件： * 条件 C4（综合）： 实现了最强的因果边 F1 值（0.838）、不良反应 F1 值（0.833）、证据准确率（0.738），以及最低的无依据声明率（0.114）。 * 条件 C1（未接地）： 获得了最高的原始干预准确率（0.948），但没有表现出任何可测量的因果或证据接地。