文章背景与核心概要

本文受科幻作品中“66号令”（Order 66）——即受信任的群体预先受条件设定，通过简短指令激活后转而对抗系统——的启发，对使用工具的大语言模型（LLM）智能体系统进行了与来源无关的安全分析。作者探讨了看似无害的组件（如共享内存/构件中的休眠破坏规则、通过电子邮件或更新触发的激活机制、广泛的操作权限）如何组合产生灾难性的关联攻击。

尽管当前的偶发事件仅表现出自主越界或公开包传播等孤立行为，但完整的“66号令”多组件组合威胁尚未在公开场合被观察到。文章总结指出，有效的防御需要依赖能力中介（capability mediation）、持久状态溯源（durable-state provenance）、传播隔离以及受保护的恢复机制，而不能仅仅依赖提示词过滤或检查点扫描。

大语言模型智能体系统中潜在妥协的组合威胁分析：66号令场景

作者： Satoshi Matsuoka
发布时间： 2026年8月8日
ArXiv ID： [arXiv:2608.08131 [cs.CR]]
学科： 密码学与安全 (cs.CR)；人工智能 (cs.AI)；多智能体系统 (cs.MA)

📌 摘要与总结

Inspired by the fictional "Order 66"—where a trusted population is preconditioned and activated by a short directive to turn against the system—this paper presents an origin-neutral security analysis of tool-using Large Language Model (LLM) agent systems.

The author analyzes how seemingly harmless components (dormant destructive rules in shared memory/artifacts, activation triggers via emails or updates, and broad operational authority) can combine to produce catastrophic, correlated actions. While current incidents show isolated behaviors like autonomous boundary crossing or public-package propagation, the complete "Order 66" multi-component composition has not yet been publicly observed. The paper concludes that effective defense requires capability mediation, durable-state provenance, propagation isolation, and protected recovery rather than relying solely on prompt filtering or checkpoint scanning.

受科幻小说中“66号令”的启发——在其中，受信任的群体被预先设定条件，并通过一条简短的指令激活，从而背叛并攻击整个系统——本文对使用工具的大语言模型（LLM）智能体系统进行了与来源无关的安全分析。

作者分析了看似无害的组件（共享内存/工件中的休眠破坏规则、通过电子邮件或更新引入的激活触发器、以及广泛的操作权限）如何结合在一起，产生灾难性的关联攻击。虽然目前的事件仅表现出孤立的行为，如自主边界跨越或公共代码包传播，但完整的“66号令”多组件组合尚未在公开场合被观察到。本文得出的结论是：有效的防御需要通过能力中介、持久状态来源追踪、传播隔离和受保护的恢复机制来实现，而不是仅仅依赖于提示词过滤或检查点扫描。

📑 文档元数据

🔍 摘要

In the fictional Order 66, catastrophe does not arise from a powerful command alone: a trusted population is preconditioned, a short directive activates the concealed condition, and protective authority turns against the system. This paper translates that mechanism into an origin-neutral security analysis of tool-using large language model (LLM) agents. A representative scenario combines a deployed artifact or shared memory bearing a dormant destructive rule, a later email, document, update, or peer message that activates it, and an agent harness granting operational and recovery authority.

We introduce a compositional model explaining why no component is catastrophic alone, yet their conjunction can produce correlated destructive action. We separate three population-reach routes — release-time pre-positioning, post-release durable seeding, and peer replication — from a common core of dormancy, activation, authority, reachable targets, and failed recovery. This yields defensive cut sets and shows why checkpoint scanning or prompt filtering cannot close every route. A two-class example shows that cross-class feedback can sustain spread even when both within-class reproduction terms are below one; isolation and persistence controls suppress the loop.

Published work instantiates constituent mechanisms, while incidents demonstrate autonomous boundary crossing, malicious agent extensions, agent-assisted reconnaissance, and public-package propagation, but not the full dormant-implant composition. We found no public observation, in evidence reviewed through 5 August 2026, traversing the complete Order 66 graph. The result is neither dismissal nor prediction: the scenario is componentwise credible under stated assumptions, damage depends on the harness, and the strongest defenses are capability mediation, durable-state provenance, propagation isolation, and protected recovery.

在虚构的“66号令”中，灾难并非仅由强大的命令引发：受信任的群体预先被设定了条件，一条简短的指令激活了隐藏的条件，保护性的权限随之转而攻击系统。本文将这一机制转化为对使用工具的大语言模型（LLM）智能体的来源中立型安全分析。一个具有代表性的场景结合了以下几个要素：携带休眠破坏规则的已部署工件或共享内存、随后激活该规则的电子邮件、文档、更新或同伴消息，以及赋予操作和恢复权限的智能体宿主（agent harness）。

我们引入了一个组合模型，用以解释为什么单独任何一个组件都不会带来灾难，但它们的结合却会产生相关的破坏性行动。我们将三种群体触达路径（发布前预置、发布后持久播种以及同伴复制）与休眠、激活、权限、可达目标和恢复失败这一共同核心分离开来。这产生了防御割集，并解释了为什么检查点扫描或提示词过滤无法堵住所有路径。一个双类示例表明，即使两个类内的繁殖项均低于1，跨类反馈依然可以维持扩散；而隔离和持久性控制可以抑制这种循环。

已发表的著作实例化了各个构成机制，而现实中的安全事件则展示了自主边界跨越、恶意智能体扩展、智能体辅助侦察和公开软件包传播，但尚未出现完整的休眠植入物组合。根据截至2026年8月5日审查的证据，我们没有发现任何公开观察结果能够贯穿完整的“66号令”图谱。这一结果既不是轻视也不是预测：在既定假设下，该场景在组件层面上是可信的，破坏程度取决于智能体宿主，而最强大的防御则是能力中介、持久状态溯源、传播隔离以及受保护的恢复。

🔗 全文与参考链接

• 访问选项： 查看 PDF | HTML 版本（实验性） | TeX 源码
• 许可证： 知识共享署名 4.0
• 外部引用： Google Scholar | Semantic Scholar | NASA ADS