跳转至

文章背景与核心概要

预测干预性“假设性”场景（即从未采取过的行动）的结果需要机理性的因果模型，而不是简单的曲线拟合。由于被动数据无法识别潜在的机理，学习这样的模型必须依赖主动实验。然而实验成本高昂，因此核心问题在于如何实现高数据效率。

本文介绍了模型发现智能体（Model Discovery Agent，简称 MDA），这是一个由大语言模型（LLM）辅助的框架，旨在通过最少的干预数据高效发现潜在的机理世界模型。MDA 结合了：大语言模型（用作候选模型结构的提议者）、序列蒙特卡洛（SMC，用于参数和结构后验）、仿真基底推理（SBI，用于处理难以处理的似然函数）以及信息价值（VoI）准则（用于战略性实验设计）。

在 M-open 设置（即真实模型可能位于当前假设类别之外）下运行，MDA 利用预测检验来标记模型的不足之处。随后，LLM 提议者扩展假设空间，后续设计的实验则用于识别新参数。在物理、化学和生物学三个科学领域的基准测试中，MDA 刷新了数据高效模型学习和干预预测的新技术水平（SOTA）。

Model Discovery Agent: LLM-assisted Bayesian Experiment Design for Data-Efficient Discovery of Mechanistic World Models

Author: Kevin Murphy
Submitted: August 10, 2026
Subjects: Artificial Intelligence (cs.AI)
ArXiv ID: arXiv:2608.09696 | View PDF

📌 Summary

预测干预性“假设”情境的结果（即从未采取过的行动的结果）需要机理性的因果模型，而不是曲线拟合；并且学习这样一个模型需要实验，因为被动数据无法识别其机理。实验成本高昂，因此核心问题是数据效率。我们提出了模型发现智能体（MDA），它将大语言模型（LLM）（用作候选结构的提议者）与标准贝叶斯机制相结合——用于参数和结构后验的序列蒙特卡洛（SMC）、用于处理棘手似然的仿真基底推理（SBI），以及用于实验设计的信息价值（VoI）——从而通过少量干预发现潜在的机理世界模型。MDA 在 M-open 设置下运行：当真实情况超出了当前假设类别的范围时，预测检验会标记出不足，提议者会用一个新模型扩展假设空间，然后通过设计的实验来识别该模型的参数。我们表明，发现与设计相互增强：设计步骤识别了发现步骤所提出的机理，而识别出的机理改善了预测，从而能够从剩余的未解释残差中实现进一步的发现。在涵盖物理、化学和生物学的三个不同基准测试中，我们证明 MDA 在数据高效的模型学习和可靠的干预预测能力方面确立了新的技术前沿（SOTA）。

Predicting the outcome of interventional "what-if" scenarios—actions never previously taken—requires a mechanistic, causal model rather than simple curve-fitting. Because passive data leaves underlying mechanisms unidentified, learning such a model requires active experimentation.

This paper introduces the Model Discovery Agent (MDA), an LLM-assisted framework designed for data-efficient discovery of latent mechanistic world models through minimal interventions. MDA couples: * Large Language Models (LLMs) to propose candidate model structures. * Sequential Monte Carlo (SMC) for parameter and structure posteriors. * Simulation-Based Inference (SBI) to handle intractable likelihoods. * Value-of-Information (VoI) criteria for strategic experiment design.

Operating in the M-open setting (where the true model may lie outside the current hypothesis class), MDA utilizes predictive checks to flag model inadequacies. The LLM proposer then expands the hypothesis space, and subsequent designed experiments identify the new parameters.

Key Benchmarks & Results

MDA establishes a new state-of-the-art (SOTA) in data-efficient model learning and interventional forecasting across three scientific domains: 1. Physics: Tested on DPbench 2. Chemistry: Tested on CHEMbench 3. Biology: Evaluated on HHbench, a newly introduced partially observed single-neuron electrophysiology benchmark.

📄 Abstract

预测对干预性“假设”问题的回答——即从未采取过行动的结果——需要机理性的因果模型，而不是曲线拟合；学习这样一个模型需要实验，因为被动数据无法识别其机理。实验成本高昂，因此核心问题是数据效率。我们提出了模型发现智能体（MDA），它将用作候选结构提议者的大语言模型（LLM）与标准的贝叶斯机制相结合：用于参数和结构后验的序列蒙特卡洛（SMC）、用于处理难以处理的似然函数的仿真基底推理（SBI）、以及用于实验设计的信息价值（VoI），从而从极少数干预中发现潜在的机理世界模型。MDA 在 M-open 设置下运作：当真相位于当前假设类别之外时，预测检验会标记出不足，提议者会用一个新模型扩展假设空间，随后通过设计的实验识别该模型的参数。我们展示了发现与设计的相辅相成：设计步骤识别了发现步骤提出的机理，而已识别的机理反过来改善了预测，从而能从剩余的未解释残差中做出进一步的发现。在涵盖物理、化学和生物学的三个不同基准上，我们证明 MDA 在数据高效的模型学习和可靠的干预预测能力方面树立了新的 SOTA。

Predicting the answer to interventional "what if" questions — the outcome of an action never taken — requires a mechanistic, causal model, not a curve fit; and learning such a model requires experiments, because passive data leaves its mechanisms unidentified. Experiments are expensive, so the central problem is data efficiency. We present the Model Discovery Agent (MDA), which couples a large language model (LLM), used as a proposer of candidate structures, with standard Bayesian machinery — sequential Monte Carlo (SMC) for parameter and structure posteriors, simulation-based inference (SBI) for intractable likelihoods, and value-of-information (VoI) for experiment design — to discover latent mechanistic world models from few interventions. MDA operates in the M-open setting: when the truth lies outside the current hypothesis class, a predictive check flags the inadequacy and the proposer expands the hypothesis space with a new model whose parameters are then identified by designed experiments. We show that discovery and design reinforce: the design step identifies the mechanism the discovery step proposes, and the identified mechanism improves predictions, enabling further discoveries from the remaining unexplained residuals. On three different benchmarks — covering physics, chemistry, and biology — we show that MDA sets a new SOTA in terms of data-efficient model learning and reliable interventional forecasting ability.

🔗 Additional Resources