跳转至

文章背景与核心概要

随着图形用户界面（GUI）智能体在执行自然语言指令方面的应用日益广泛，现实世界中的用户往往会因为无意的失误而发出不可行的指令。一个可靠的智能体不仅需要具备执行操作的能力，更需要具备何时不应操作的判断力。为了研究这一问题，本文作者推出了 CONFLICTGUI 基准测试，用于评估指令内部冲突以及指令与GUI上下文冲突的情况。研究发现了一个普遍存在的现象——“执行偏置型过度依从”（execution-biased overcompliance），即在可行任务上表现良好的智能体在面对冲突指令时仍会盲目执行。

为了解决这一问题，研究人员提出了 CONFLICTGUARD，这是一个在推理时设计的框架，旨在将智能体的可行性感知与其动作生成对齐。该框架包含两个核心部分：1. 可行性验证协议，引导智能体在行动前评估指令逻辑和GUI端的证据；2. 条件动作调制机制，引导智能体摆脱过度依从的执行方式，转向面向终止的行为。在五个主流智能体上的实验表明，CONFLICTGUARD 在显著提升冲突任务成功率的同时，保持了标准的GUI任务性能，证明了轻量级推理时干预可以有效防止不必要且潜在有害的GUI操作。

Do GUI Agents Know When Not to Act? Enabling Conflict-Aware Termination for Multimodal GUI Agents

Do GUI Agents Know When Not to Act? Enabling Conflict-Aware Termination for Multimodal GUI Agents

Authors: Zhaoyuan Huang, Tianjie Ju, Pengzhou Cheng, Zheng Wu, Yansi Li, Chuanbiao Song, Jun Lan, Huijia Zhu, Weiqiang Wang, Zhuosheng Zhang
arXiv: 2609.03438 [cs.AI]
Submitted: September 3, 2026

Authors: Zhaoyuan Huang, Tianjie Ju, Pengzhou Cheng, Zheng Wu, Yansi Li, Chuanbiao Song, Jun Lan, Huijia Zhu, Weiqiang Wang, Zhuosheng Zhang
arXiv: 2609.03438 [cs.AI]
Submitted: September 3, 2026

📌 Summary

📌 Summary

图形用户界面（GUI）智能体正越来越多地被部署在用户界面上执行自然语言指令。然而，现实世界的用户由于良性失误，经常会发出不可行的指令。一个可靠的智能体不仅必须具备行动的能力，还必须具备何时不应行动的识别能力。

Graphical user interface (GUI) agents are increasingly deployed to execute natural-language instructions on user interfaces. However, real-world users frequently issue infeasible instructions due to benign mistakes. A reliable agent must possess not only the capability to act, but also the discernment when not to act.

为了研究这一点，作者推出了 CONFLICTGUI，这是一个评估指令内部冲突和指令-GUI上下文冲突的基准。他们的评估揭示了一个普遍存在的问题，即执行偏置型过度依从（execution-biased overcompliance），即在可行任务上表现良好的智能体在面对冲突指令时仍会继续盲目执行。

To study this, the authors introduce CONFLICTGUI, a benchmark evaluating instruction-internal conflicts and instruction-GUI context conflicts. Their evaluation uncovers a pervasive issue of execution-biased overcompliance, where agents that perform well on feasible tasks continue to execute blindly under conflicting instructions.

为了解决这个问题，研究人员提出了 CONFLICTGUARD，这是一个旨在将智能体的可行性感知与其动作生成相对齐的推理时框架。该框架由以下部分组成： 1. 可行性验证协议，指导智能体在行动前评估指令逻辑和GUI侧的证据。 2. 条件动作调制机制，引导智能体远离过度依从的执行，走向面向终止的行为。

To address this, the researchers propose CONFLICTGUARD, an inference-time framework designed to align an agent's feasibility awareness with its action generation. The framework consists of: 1. A feasibility verification protocol to guide the agent in assessing instruction logic and GUI-side evidence before acting. 2. A conditional action modulation mechanism that steers agents away from over-compliant execution and toward termination-oriented behavior.

在五个广泛使用的智能体上进行的实验表明，CONFLICTGUARD 在大幅提高冲突任务成功率的同时，保持了标准的GUI任务性能，这证明了轻量级的推理时干预可以有效防止不必要且可能有害的GUI操作。

Experiments across five widely used agents show that CONFLICTGUARD substantially improves conflict task success rates while preserving standard GUI-task performance, demonstrating that lightweight inference-time interventions can effectively prevent unnecessary and potentially harmful GUI actions.