跳转至

文章背景与核心概要

随着大语言模型（LLM）能力的不断演进，动态智能体运行框架允许模型修改控制自身执行的底层软件，这给模型带来了复杂的推理负担。当本地插件发生变更时，这些修改会通过依赖关系和清理例程不断扩散，使得组件的生命周期管理变得至关重要。为了系统评估语言模型在这方面的能力，研究人员推出了 CordisBench 基准测试。

CordisBench 包含 1,200 个精心设计的问题，旨在全面评估大模型在动态运行环境中的生命周期推理能力。该基准测试将受控的形式化框架与在 Cordis 运行时上执行的程序相结合（Cordis 是一个专门处理组件依赖和清理的运行时）。评估结果表明，虽然模型能够应付小规模系统，但随着交互复杂度的提升，其可靠性显著下降；而增加推理计算量虽然能带来性能提升，却伴随着巨大的计算成本。

CordisBench: Can Language Models Reason About Component Lifecycles in Dynamic Agent Harnesses?

Authors: Damien Sileo, Dimitri Kachler
Submitted: 1 September 2026
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
arXiv: 2609.01600 [cs.CL]
DOI: 10.48550/arXiv.2609.01600

📌 Summary

动态智能体运行框架允许语言模型修改控制自身执行的软件，从而引入了复杂的推理负担。对本地插件的更改会通过依赖关系和清理例程进行传播，这使得生命周期管理变得至关重要。

Dynamic agent harnesses allow language models to modify the software governing their own execution, introducing complex reasoning burdens. Changes to local plugins propagate through dependencies and cleanup routines, making lifecycle management critical.

为了评估这一能力，作者们推出了 CordisBench，这是一个包含 1,200 个题目的基准测试，旨在评估生命周期推理能力。该基准测试将一个受控的形式化框架与运行在 Cordis（一个处理组件依赖关系和清理工作的运行时）上的程序结合在了一起。

To evaluate this capability, the authors introduce CordisBench, a 1,200-question benchmark designed to assess lifecycle reasoning. The benchmark integrates a controlled formal framework with programs executed on Cordis—a runtime handling component dependencies and cleanup.

🔍 Key Benchmark Tasks

CordisBench 挑战模型去完成以下任务： 1. 识别受影响的组件（在发生本地更改之后）。 2. 预测系统状态（在指定的拆卸/清理顺序之后）。 3. 确定成立条件（在所有或部分子集拆卸顺序下保持成立的条件）。 4. 选择成功的重新配置方案（能够无故障执行的方案）。

CordisBench challenges models to: 1. Identify affected components following local changes. 2. Predict system states after a specified teardown order. 3. Determine conditions that hold under all or subset teardown orders. 4. Choose successful reconfigurations that execute without failure.

📊 Findings & Evaluation

  • 规模与复杂度： 该基准测试采用确定性评分方式，评估了三种注重效率的模型在低推理努力程度下的表现，测试子集分别包含 2、4、8、16、24 或 32 个相关交互。
  • 性能趋势： 模型能够很好地处理小型系统，但随着交互复杂度的扩展，其可靠性随之下降——尤其是在预测最终状态以及跨不同拆卸顺序进行推理时。
  • 推理投入与成本： 增加推理努力程度会为某些模型带来明显的性能提升，但代价是高昂的计算成本（例如，GPT-5.6 Luna 在 16 交互子集上采用中等推理努力时，每个问题消耗近 3,000 个推理 Token）。
  • 参考语义： 对于所评估的受控实例，独立的有限参考语义与所有 528 个可执行问题的 Cordis 执行结果完全一致。
  • Scale & Complexity: The benchmark evaluates three efficiency-oriented models at low reasoning effort across subsets with 2, 4, 8, 16, 24, or 32 relevant interactions using deterministic scoring.
  • Performance Trends: Models handle small systems effectively, but reliability drops as interaction complexity scales—particularly when predicting final states and reasoning across diverse teardown orders.
  • Inference Effort vs. Cost: Increasing inference effort yields marked performance gains for certain models, but at a steep computational cost (e.g., GPT-5.6 Luna consumes nearly 3,000 reasoning tokens per question at medium effort on the 16-interaction subset).
  • Reference Semantics: For the controlled instances evaluated, an independent finite reference semantics aligns completely with Cordis execution outcomes across all 528 executable questions.

license icon