跳转至

KC-Bench：用于评估大模型智能体中知识冲突的动态交互式基准

文章背景与核心概要

随着大语言模型（LLM）越来越多地通过自主工具执行操作，它们在采取行动前必须仔细协调用户指令、预先存在的参数化知识以及动态的环境观测。为了衡量这一核心能力，本文推出了 KC-Bench，这是一个新颖且受控的多轮评估基准，专门用于测量世界知识冲突、输入不一致以及多源时间冲突等场景下的模型表现。该基准包含 238 个精心策划的任务，集成了用户模拟器、有状态工具、确定性环境断言、开源自然语言评估器以及人工轨迹验证。

对 9 个主流模型（包括 DeepSeek-V4-Flash、GLM-5.2 和 MiniMax-M3）的评估显示出显著的跨领域差异，这表明没有任何单一模型能够在所有环境中可靠地处理事实纠正、身份一致性检查和时间冲突解决。KC-Bench 专注于隔离模型层面的行为，而非对完整的智能体框架进行排名，为开发具备冲突感知能力的推理与执行安全防护机制提供了可复现的诊断手段。

Paper Metadata

  • arXiv ID: arXiv:2609.03588 [cs.AI]
  • Subjects: Artificial Intelligence (cs.AI)
  • Submission Date: September 3, 2026
  • Authors: Yaxing Lyu, Shengjie Zhou, Binbin Toh, Pengyu Zhu, Lijun Li

Abstract

随着大语言模型越来越多地通过工具进行操作，它们在采取行动之前必须协调用户指令、参数化知识以及动态的环境观测。我们推出了 KC-Bench，这是一个受控的多轮基准测试，用于衡量跨世界知识冲突、输入不一致和多源时间冲突下的这一能力。

其 238 个任务是从 1,000 多个生成的候选任务中经过人工严格筛选得出的，并结合了： * 用户模拟器 * 有状态工具 * 确定性环境断言 * 开源自然语言评估器 * 人工轨迹验证

对 9 个模型（包括 DeepSeek-V4-Flash、GLM-5.2 和 MiniMax-M3）的评估显示出显著的跨领域差异：在所有设置中，没有哪个模型能够可靠地处理事实纠正、身份一致性检查和时间冲突解决。在模拟环境中，未被察觉的冲突可能会扩散到工具调用或合成的受保护数据流中。KC-Bench 旨在隔离这种模型层面的行为，而不是对完整的智能体框架进行排名，从而为开发具备冲突感知的推理和执行防护机制提供可复现的诊断方法。

As LLMs increasingly act through tools, they must reconcile user instructions, parametric knowledge, and dynamic environmental observations before taking actions. We introduce KC-Bench, a controlled multi-turn benchmark for measuring this capability across world-knowledge conflicts, input inconsistencies, and multi-source temporal conflicts.

Its 238 tasks are manually screened from more than 1,000 generated candidates and combine: * A user simulator * Stateful tools * Deterministic environment assertions * An open-source natural-language evaluator * Human trajectory verification

Evaluation of nine models—including DeepSeek-V4-Flash, GLM-5.2, and MiniMax-M3—shows substantial cross-domain variation: no model handles factual correction, identity consistency checking, and temporal conflict resolution reliably across all settings. In the simulated environments, missed conflicts can propagate to tool calls or synthetic protected-data flows. KC-Bench isolates this model-level behavior rather than ranking complete agent frameworks, and provides a reproducible diagnostic for developing conflict-aware reasoning and execution safeguards.

Key Features of KC-Bench

  1. 多轮与交互式： 通过模拟的用户交互和有状态的工具，动态评估智能体。
  2. 多样化的冲突场景： 评估三种主要的知识冲突类型：
  3. 世界知识冲突
  4. 输入不一致
  5. 多源时间冲突
  6. 严格的筛选： 包含 238 个任务，这些任务是通过自动化生成和人工轨迹验证从 1,000 多个候选任务中精心过滤出来的。
  7. 全面的评估栈： 利用确定性环境断言以及开源自然语言评估器，以捕获微妙的失效扩散。
  1. Multi-Turn & Interactive: Assesses agents dynamically through simulated user interaction and stateful tools.
  2. Diverse Conflict Scenarios: Evaluates three primary types of knowledge conflicts:
  3. World-knowledge conflicts
  4. Input inconsistencies
  5. Multi-source temporal conflicts
  6. Rigorous Filtering: Features 238 tasks carefully filtered from over 1,000 candidates via automated generation and human trajectory verification.
  7. Comprehensive Evaluation Stack: Utilizes deterministic environment assertions alongside an open-source natural-language evaluator to capture subtle failure propagation.

Access Full-Text & Resources