跳转至

文章背景与核心概要

从观测数据中进行贝叶斯网络结构学习（BNSL）时，往往难以确定因果关系的方向；而大语言模型（LLM）则能提供广泛但有时不够可靠的因果背景知识。这两种信息源具有高度的互补性。

本文引入了一种名为概率依赖图（Probabilistic Dependency Graphs, PDGs）的新型表示框架，成功将这两种互补的信息源结合起来。通过将每条边与一个涵盖“有向”、“无向”和“不存在”状态的概率分布相关联，PDGs能够通过加权平均实现无缝融合。实验表明，这种方法在基准测试中展现出卓越的性能，能够显著提升因果图谱的准确性。

LLM-Augmented Causal Discovery: Probabilistic Fusion of Edge Existence and Orientation

Authors: Neville K. Kitson, Anthony Constantinou
Primary Subject: Artificial Intelligence (cs.AI)
arXiv ID: arXiv:2608.27472 [cs.AI]
Status: Accepted as a poster at the Probabilistic Graphical Models (PGM) 2026 Conference

LLM-Augmented Causal Discovery: Probabilistic Fusion of Edge Existence and Orientation

Authors: Neville K. Kitson, Anthony Constantinou
Primary Subject: Artificial Intelligence (cs.AI)
arXiv ID: arXiv:2608.27472 [cs.AI]
Status: Accepted as a poster at the Probabilistic Graphical Models (PGM) 2026 Conference

Executive Summary

Bayesian network structure learning (BNSL) from observational data often struggles with orientation identifiability, whereas Large Language Models (LLMs) provide broad—though occasionally unreliable—causal background knowledge.

This paper introduces Probabilistic Dependency Graphs (PDGs), a novel representation framework that bridges these two complementary information sources. By associating each edge with a distribution over directed, undirected, and absent states, PDGs enable seamless fusion via weighted averaging.

Key Findings:

  • Performance Boost: A simple 50/50 fusion strategy improved the F1 score over the better of either individual source in 22 out of 26 benchmark networks, yielding a statistically significant mean improvement of \(0.056\) (\(p < 0.001\)).
  • Complementary Strengths:
  • BNSL excels at providing a high-recall edge skeleton (80% vs. 60% for LLMs).
  • LLMs contribute highly accurate edge orientations (96% vs. 77% for BNSL).

执行摘要

从观测数据中进行贝叶斯网络结构学习（BNSL）往往难以解决方向可识别性问题，而大语言模型（LLM）则提供了广泛但偶尔不可靠的因果背景知识。

本文引入了概率依赖图（PDGs），这是一种连接这两个互补信息源的新型表示框架。通过将每条边与一个关于有向、无向和缺失状态的分布相关联，PDGs能够通过加权平均实现无缝融合。

核心发现：

  • 性能提升： 在 26 个基准网络中的 22 个里，简单的 50/50 融合策略使 F1 分数超过了任何单一来源的最好表现，带来了统计学上显著的平均提升 \(0.056\) (\(p < 0.001\))。
  • 互补优势：
  • BNSL 擅长提供高召回率的边骨架（80% 对比 LLM 的 60%）。
  • LLM 贡献了高准确度的边方向（96% 对比 BNSL 的 77%）。

Abstract

Bayesian network structure learning (BNSL) from observational data struggles with orientation identifiability, while large language models (LLMs) offer broad but often unreliable causal knowledge. We propose combining these complementary sources through a novel representation, termed Probabilistic Dependency Graphs (PDGs). In a PDG, each edge is associated with a distribution over directed, undirected, and absent states, enabling fusion via weighted averaging. We evaluate this approach on 26 benchmark networks, combining ensembles of three BNSL algorithms (FGES, Tabu, PC) with three LLMs (Gemini, Claude, GPT) across multiple prompts and random seeds. A simple 50/50 fusion improves F1 over the better of either source alone in 22 of 26 networks, with a statistically significant mean improvement of \(0.056\) (\(p < 0.001\)). Analysis reveals that the two sources play complementary roles: BNSL contributes a high-recall edge skeleton (80\% vs 60\% for LLM), while LLM contributes accurate edge orientation (96\% vs 77\% for BNSL). Our results show that representing both sources as probabilistic uncertainty over edge existence and orientation is a practical and effective way to improve causal graph accuracy.

摘要

从观测数据中进行贝叶斯网络结构学习（BNSL）在方向可识别性方面面临挑战，而大语言模型（LLM）则提供了广泛但通常不可靠的因果知识。我们提出通过一种名为概率依赖图（PDGs）的新型表示方法来结合这些互补的来源。在 PDG 中，每条边都与一个分布相关联，该分布涵盖有向、无向和不存在状态，从而能够通过加权平均进行融合。我们在 26 个基准网络上评估了这种方法，将三个 BNSL 算法（FGES、Tabu、PC）的集成与三个 LLM（Gemini、Claude、GPT）结合，并跨多个提示词和随机种子进行测试。简单的 50/50 融合在 26 个网络中的 22 个中提升了 F1 分数，超越了单独使用任一来源的最好表现，平均提升在统计学上显著（\(0.056\)， \(p < 0.001\)）。分析表明，这两个来源发挥了互补作用：BNSL 贡献了高召回率的边骨架（80% 对比 LLM 的 60%），而 LLM 贡献了准确的边方向（96% 对比 BNSL 的 77%）。我们的结果表明，将这两个来源表示为关于边存在性和方向性的概率不确定性，是提高因果图准确性的一种实用且有效的方法。

Evaluation & Methodology Overview

  • Benchmark Networks: Evaluated across 26 standard benchmark networks.
  • BNSL Ensembles: Utilized three core algorithms: FGES, Tabu, and PC.
  • LLM Integration: Leveraged multiple prompts and random seeds across three frontier models: Gemini, Claude, and GPT.
  • Core Mechanism: Probabilistic fusion via weighted averaging of edge states (directed, undirected, absent).

评估与方法概述

  • 基准网络： 在 26 个标准基准网络上进行评估。
  • BNSL 集成： 利用了三个核心算法：FGES、Tabu 和 PC。
  • LLM 集成： 在三个前沿模型（Gemini、Claude 和 GPT）中跨多个提示词和随机种子进行利用。
  • 核心机制： 通过边状态（有向、无向、不存在）的加权平均进行概率融合。