PIPES：通过溯源与先验知识保障智能体感知安全
文章背景与核心概要
随着具备工具调用能力的大模型智能体（AI Agents）日益普及，它们频繁需要从不同且不可信的外部来源消费数据。然而，当前的工具响应往往缺乏对数据来源和权威性的明确声明，这导致了“状态破坏攻击”（State-Corruption Attacks）的泛滥——攻击者可以通过注入环境声明来绕过标准安全护栏。
为了解决这一痛点，本文作者推出了 PIPES（Provenance-Informed, Prior-Enforced Screening，即溯源驱动、先验强化的筛选机制）。该防御机制结合了语义先验知识与数据源溯源信息，能够对工具响应单元进行精准筛查。通过对结构化数据执行静态字段契约，并根据响应前的轨迹和受信任的元数据对开放式内容进行条件约束，PIPES 有效中和了潜在威胁。在 Gemma 4 31B IT 模型以及 VitaBench 和 AgentDyn 的多项测试集上进行的评估表明，PIPES 将平均攻击成功率从 84.7% 降至 2.3%，同时保持了极高的良性任务实用性（启用 PIPES 时为 92.5%，未启用时为 90.6%）。
摘要 (Abstract)
Tool-using agents consume external data from sources with different levels of trust, yet tool responses rarely identify who produced each component or what it should convey. We show that this gap enables state-corruption attacks, in which attacker-controlled content makes environmental claims beyond the informational authority of its response component and corrupts the agent's perceived environment, making the resulting action appear justified to existing guardrails.
具工具调用能力的智能体常需摄取来自不同信任等级的外部数据，但工具响应极少标明各组件的生产者或其应传达的内容。我们发现，这种漏洞导致了状态破坏攻击（state-corruption attacks）：攻击者控制的内容能够在其响应组件的信息权限之外伪造环境声明，从而污染智能体所感知的环境，使最终采取的行动在现有安全护栏看来显得合情合理。
We introduce PIPES (Provenance-Informed, Prior-Enforced Screening), which screens response units using semantic priors and source provenance. PIPES uses static field contracts when schemas provide stable expectations, and conditions screening of open-ended content on the pre-response trajectory and trusted provenance metadata. It marks units that violate their semantic prior or the provenance hierarchy; deployments may remove, warn, block, or escalate detected violations.
为此，我们引入了 PIPES（溯源驱动、先验强化的筛选机制），该机制利用语义先验和源溯源来筛选响应单元。当模式（schemas）提供稳定的预期时，PIPES 使用静态字段契约；同时，它根据响应前的轨迹和受信任的溯源元数据来条件化筛选开放式内容。它会标记违反语义先验或溯源层级的单元；部署系统可对检测到的违规行为采取移除、警告、阻止或升级处理。
We instantiate atomic removal and evaluate PIPES against adaptive PAIR-style attacks. Across the three VitaBench and three AgentDyn splits with Gemma 4 31B IT as the target agent, PIPES reduces average attack success from 84.7% to 2.3%, while preserving average benign utility (92.5% with PIPES versus 90.6% without defense).
我们实例化了原子移除（atomic removal）策略，并针对自适应的 PAIR 风格攻击对 PIPES 进行了评估。在以 Gemma 4 31B IT 作为目标智能体的 VitaBench 和 AgentDyn 的三个数据集划分上，PIPES 将平均攻击成功率从 84.7% 降低至 2.3%，同时保持了平均良性实用性（启用 PIPES 时为 92.5%，无防御时为 90.6%）。
元数据 (Metadata)
- arXiv Identifier: arXiv:2608.12789
- Subject Categories: Cryptography and Security (
cs.CR), Artificial Intelligence (cs.AI)- Authors: Sanjay Kariyappa, Severin Klingler, G. Edward Suh
- Submission Date: August 13, 2026
- arXiv 标识符： arXiv:2608.12789
- 学科分类： 密码学与安全 (
cs.CR)，人工智能 (cs.AI) - 作者： Sanjay Kariyappa, Severin Klingler, G. Edward Suh
- 提交日期： 2026年8月13日