跳转至

文章背景与核心概要

大语言模型（LLM）智能体正日益被用于生成学术论文复现代码，但它们往往会产出在科学上不忠实的实现。本文将这种现象定义为语义漂移（semantic drift），即生成的代码在无声中偏离了研究论文的核心规范。

为了系统性地衡量和诊断这一问题，作者推出了 SemanticAlign-Bench (SA-Bench)，这是一个涵盖来自顶级机器学习会议（ICLR、ICML 和 NeurIPS 2025）的 30 篇论文的诊断性基准测试。该基准为每篇论文分解出原子级、可验证的实现声明（称为 SAU），并从数值、方法论、协议和顺序四个维度评估现有 LLM 智能体的表现。研究发现，即使是表现最好的配置得分也仅有 0.301（满分 1.0），这表明当前的智能体在科学严谨的复现任务中面临巨大的语义对齐挑战，未来的开发必须优先考虑支持语义规范验证的框架。

SA-Bench：Evaluating Semantic Alignment in LLM-Based Paper Reproduction

SA-Bench: Evaluating Semantic Alignment in LLM-Based Paper Reproduction

  • arXiv ID: 2608.24252 [cs.AI]
  • Authors: Xue Hu, Zewei Pan, Zeli Su, Zhou Liu, Wentao Zhang
  • Submitted: August 25, 2026
  • Status: Accepted to Findings of EMNLP 2026
  • arXiv ID: 2608.24252 [cs.AI]
  • Authors: Xue Hu, Zewei Pan, Zeli Su, Zhou Liu, Wentao Zhang
  • Submitted: August 25, 2026
  • Status: Accepted to Findings of EMNLP 2026

Executive Summary

大语言模型（LLM）智能体正越来越多地被用于生成复现学术论文的代码，但它们经常产出在科学上不忠实的实现。本文将这一现象定义为语义漂移（semantic drift），即生成的代码在无声中偏离了研究论文的核心规范。

为了系统地衡量和诊断这一问题，作者引入了 SemanticAlign-Bench (SA-Bench)，这是一个诊断性基准测试，涵盖了来自顶级机器学习会议（ICLR、ICML 和 NeurIPS 2025）的 30 篇论文。

Executive Summary

Large Language Model (LLM) agents are increasingly utilized to generate code for reproducing academic papers, but they frequently produce implementations that are scientifically unfaithful. This paper defines this phenomenon as semantic drift, where generated code silently diverges from the core specifications of a research paper.

To systematically measure and diagnose this issue, the authors introduce SemanticAlign-Bench (SA-Bench), a diagnostic benchmark covering 30 papers from top-tier machine learning conferences (ICLR, ICML, and NeurIPS 2025).

Key Highlights & Findings

  • 语义对齐单元（SAUs）： 对于每篇论文，其规范被分解为被称为 SAU 的原子级、可验证的实现声明。在五个机器学习领域中，该基准构建了 1,491 个 SAU。
  • 四个诊断维度： 评估涵盖了四种不同类型的漂移：
  • 数值漂移（Numerical drift）
  • 方法论漂移（Methodological drift）
  • 协议漂移（Protocol drift）
  • 顺序漂移（Ordering drift）
  • 当前 LLM 智能体的表现： 本研究在 360 次评估中评估了 12 种生成器配置（4 个模型 \(\times\) 3 种框架）：
  • 即使是表现最好的配置（Claude + PaperCoder），其平均 SAU 得分也仅为 0.301（满分 1.0）。
  • 所有评估的总体平均得分仅为 0.221。
  • 失败分类学： 智能体通常会尝试满足大部分要求，但执行时往往出错。实现不匹配（Implementation mismatches）和存根（Stubs）占了零分声明的绝大部分。
  • 对智能体框架（Scaffolds）的启示： 现有的主要针对可执行性进行优化的框架，对于严谨的科学复现而言价值有限。未来的开发必须优先考虑为语义规范验证设计的框架。

Key Highlights & Findings

  • Semantic Alignment Units (SAUs): For each paper, specifications are decomposed into atomic, verifiable implementation claims called SAUs. Across five machine learning domains, the benchmark constructs 1,491 SAUs.
  • Four Diagnostic Dimensions: The evaluation covers four distinct types of drift:
  • Numerical drift
  • Methodological drift
  • Protocol drift
  • Ordering drift
  • Performance of Current LLM Agents: The study evaluates 12 generator configurations (4 models \(\times\) 3 scaffolds) across 360 evaluations:
  • Even the top-performing configuration (Claude + PaperCoder) achieved a mean SAU score of only 0.301 out of 1.0.
  • The overall mean score across all evaluations was just 0.221.
  • Failure Taxonomy: Agents generally attempt most requirements but execute them incorrectly. Implementation mismatches and stubs account for the vast majority of zero-scored claims.
  • Implication for Scaffolds: Existing scaffolds optimized primarily for executability offer limited value for rigorous scientific reproduction. Future development must prioritize scaffolds designed for semantic specification verification.

License

License