跳转至

安全性无法组合：自主LLM智能体的非衰减循环状态

文章背景与核心概要

随着大语言模型（LLM）智能体被越来越广泛地部署为自主运行的循环体，用于在多个迭代周期中处理长期、无人值守的工作流，其安全性面临着全新的挑战。现有的安全机制通常仅在单个轨迹（trajectory）内部起作用，并在新轨迹开始时重置，这导致它们在面对跨多个迭代周期的攻击时显得力不从心。本文深入探讨了这一局限性，指出其本质上是组合性（composition）的根本失效，而不仅仅是实现细节上的疏漏。

为了解决这一问题，论文揭示了“轨迹分离问题”（Trajectory Separation Problem）以及几何衰减评分机制的固有缺陷，并创新性地提出了 LoopHarness 框架。该框架在循环级别强制执行持久且非衰减的安全状态，通过受控提交（mediated commits）和仲裁检测底线 \(\delta_M\)，将未授权不可逆操作的期望次数限制在与 \(N\) 无关的常数范围内。这一研究为构建真正安全的长期自主LLM智能体提供了坚实的理论基础和切实可行的模型无关解决方案。

摘要总结

大语言模型（LLM）智能体正日益被部署为自主循环，用以在多个迭代中处理扩展且无人值守的工作流。然而，现有的安全机制通常在单个轨迹内运行，并在新轨迹开始时重置。

本文证明，这一局限性是组合性的根本失效，而不仅仅是一个实现细节： * 轨迹分离问题（The Trajectory Separation Problem）： 针对证据分散在多个迭代中的攻击，标准的轨迹范围监控器的真阳性率与其假阳性率相当。相反，保留跨迭代状态的监控器则能实现完美的分离。 * 几何衰减评分的局限性（Limitations of Geometrically Decaying Scores）： 简单地携带一个几何衰减的风险评分是不够的，因为耐心的攻击者所需的冷静期是恒定的，且不会随操作视界 \(N\) 进行扩展。 * LoopHarness 解决方案（LoopHarness Solution）： 作者引入了 LoopHarness，它在循环级别强制实施持久且非衰减的安全状态。在受控提交和仲裁检测底线 \(\delta_M\) 的作用下，LoopHarness 将未授权不可逆操作的期望次数限制在 \(N\) 的常数范围内（\(B + m - 1 + m/\delta_M\)），并具备在面对完全串通的验证者时依然有效的免模型规则。

Large Language Model (LLM) agents are increasingly deployed as autonomous loops that handle extended, unattended workflows across multiple iterations. However, existing safety mechanisms typically operate within a single trajectory and reset when a new one begins.

This paper demonstrates that this limitation is a fundamental failure of composition rather than a mere implementation detail: * The Trajectory Separation Problem: Against attacks whose evidence is fragmented across multiple iterations, standard trajectory-scoped monitors suffer from a true-positive rate equivalent to their false-positive rate. Conversely, monitors retaining cross-iteration state achieve perfect separation. * Limitations of Geometrically Decaying Scores: Simply carrying a geometrically decaying risk score is insufficient because the cooling-off period required by a patient adversary remains constant and does not scale with the operational horizon \(N\). * LoopHarness Solution: The authors introduce LoopHarness, which enforces a persistent, non-decaying safety state at the loop level. Under mediated commits and an arbiter detection floor \(\delta_M\), LoopHarness bounds the expected number of unauthorized irreversible actions to a constant in \(N\) (\(B + m - 1 + m/\delta_M\)), with a model-free rule that survives fully colluding verifiers.

导航与资源

提交历史

  • [v1] 2026年8月27日 星期四 13:52:31 UTC (348 KB)

Submission History

  • [v1] Thu, 27 Aug 2026 13:52:31 UTC (348 KB)