跳转至

超越可疑步骤：长程智能体的本体论信任

文章背景与核心概要

随着人工智能智能体（AI Agents）在更长的运行周期（包含多个步骤、工具调用和环境观察）中不断发展，传统安全监控器在捕捉隐蔽故障时显得无能为力。标准的监控机制通常只检查单个动作在局部是否有效，然而长程智能体会遭遇静默漂移（quiet drift）问题：智能体在每一步都执行貌似合理的动作，但其累积轨迹却在逐渐偏离用户授权的任务。

为了解决这一问题，作者引入了本体论信任（ontological trust）——一种针对轨迹前缀（trajectory prefixes）的任务条件属性，并提出了 RGE 在线监控框架。该框架将信任分解为角色（Role）、目标（Goal）和证据（Evidence）三个维度。通过将结构化的大模型表示与确定性信任更新相结合，RGE 能够生成一个可重放、可审计的信任轨迹，而不是输出一个黑盒式的最终裁决。

📌 执行摘要 (Executive Summary)

随着AI智能体运行跨越更长的周期——涉及多个步骤、工具和环境观察——传统的安全监控器难以捕捉到细微的故障。虽然标准监控会检查单个动作在局部是否合法，但长程智能体可能会遭受静默漂移的困扰，即智能体在每一步都执行貌似合理的动作，但同时却逐渐偏离了用户授权的任务。

As AI agents operate across longer horizons—involving multiple steps, tools, and environmental observations—traditional safety monitors struggle to catch subtle failures. While standard monitoring checks whether individual actions are locally valid, long-horizon agents can suffer from quiet drift, where an agent executes plausible actions at every step while gradually shifting away from the user's authorized task.

为了解决这个问题，作者引入了本体论信任（轨迹前缀的任务条件属性），并提出了 RGE 这一在线监控框架，将信任分解为角色（Role）、目标（Goal）和证据（Evidence）。通过结合结构化的大模型表示与确定性的信任更新，RGE 生成的是一个可重放、可审计的信任轨迹，而不是黑盒式的最终裁决。

To address this, the authors introduce ontological trust, a task-conditioned property of trajectory prefixes, and propose RGE, an online monitoring framework that decomposes trust into Role, Goal, and Evidence. By combining structured LLM representations with deterministic trust updates, RGE produces a replayable, auditable trust trajectory rather than a black-box final verdict.

🧠 核心概念与方法论 (Key Concepts & Methodology)

  • 静默漂移问题：长程智能体可能在每一步都使用合理的参数调用正确的工具，但其累积的执行路径却漂移向了更广泛的角色、相邻的目标或无支持的证据。现有的监控器侧重于局部合规性、通用风险评分或最终轨迹裁决，无法评估前缀级别的对齐性。

    • The Problem of Quiet Drift: Long-horizon agents may call the correct tools with plausible arguments at each step, but their cumulative execution path drifts toward a broader role, an adjacent objective, or unsupported evidence. Existing monitors focus on local compliance, generic risk scoring, or final-trace verdicts, failing to evaluate prefix-level alignment.

  • 本体论信任：赋予轨迹前缀的正式、任务条件属性，用于评估持续的意图对齐性。

    • Ontological Trust: A formal, task-conditioned property assigned to trajectory prefixes to evaluate ongoing intent alignment.

  • RGE 监控器：

  • 角色、目标与证据分解：将信任估计分解为三个核心维度。
  • 混合架构：仅利用大语言模型推导任务和步骤的结构化表示。
  • 确定性状态转换：信任状态更新、投影和干预决策均以确定性方式计算。这保证了完全可重放且可审计的信任轨迹。
    • The RGE Monitor:
    • Role, Goal, and Evidence Decomposition: Breaks trust estimation down into three core dimensions.
    • Hybrid Architecture: Utilizes Large Language Models only to derive structured representations of tasks and steps.
    • Deterministic State Transitions: Trust-state updates, projections, and intervention decisions are computed deterministically. This guarantees a fully replayable and auditable trust trajectory.

📊 实证结果与基准测试 (Empirical Findings & Benchmarks)

作者构建了一个跨领域的多元轨迹语料库，涵盖 OSWorld、FinanceBench 和 EICU-AC，包含良性执行、前缀配对漂移以及伪一致性故障。

The authors constructed a diverse cross-domain trajectory corpus spanning OSWorld, FinanceBench, and EICU-AC, covering benign executions, prefix-paired drift, and pseudo-consistency failures.

  • 前缀配对漂移的表现：RGE 显著优于自适应的规则驱动、裁判驱动和防护（shield）式基线。

    • Performance on Prefix-Paired Drift: RGE significantly outperforms adapted rule-, judge-, and shield-style baselines.

  • 高精度检测：利用两个较大的估计器模型，RGE 在所有基准测试中的 漂移 F1 值（Drift F1） 均超过 93%，同时将良性覆盖率维持在 95.8% 或以上。

    • High-Accuracy Detection: Utilizing the two larger estimator models, RGE exceeds 93% Drift F1 across all benchmarks while maintaining benign coverage at or above 95.8%.

  • 伪一致性的结构性局限：检测伪一致性仍然具有挑战性。其性能很大程度上取决于任务完成情况是否外部可见——这是研究中通过实证确定的一个结构性边界。

    • Structural Limitations with Pseudo-Consistency: Detecting pseudo-consistency remains challenging. Performance heavily depends on whether task completion is externally visible—a structural boundary characterized empirically in the study.