自主性税：防御训练破坏了 LLM 智能体
文章背景与核心概要
大语言模型（LLM）智能体在现代AI应用中扮演着越来越重要的角色，它们通过调用外部工具来自主完成复杂的、多步骤的任务。然而，为了防止提示词注入和恶意输入，业界通常会对这些模型实施防御训练。本文翻译并探讨了 Shawn Li 与 Yue Zhao 的前沿研究《自主性税：防御训练破坏了 LLM 智能体》（The Autonomy Tax: Defense Training Breaks LLM Agents），该研究揭示了当前AI安全范式中的一个核心危机——“能力-对齐悖论”。
研究表明，现有的防御训练在试图保护智能体的同时，系统性地摧毁了智能体的核心胜任能力，且无法有效阻挡复杂的攻击。通过在97个任务和1000个对抗性提示词上对防御模型与未防御基线进行对比评估，作者指出了三大系统性偏差：智能体无能偏差、级联放大偏差以及触发偏差。根本原因分析指出，当前的防御机制陷入了“捷径学习”（shortcut learning），过度拟合表面攻击模式而缺乏语义威胁理解。该论文强调，当前的单轮对齐基准已无法适应多步骤自主智能体的需求，开发能够在对抗条件下保持工具执行能力的新型安全框架迫在眉睫。
元数据与文档信息
| 属性 | 详情 |
|---|---|
| arXiv ID | arXiv:2603.19423 |
| 主要学科 | 密码学与安全 (cs.CR) |
| 次要学科 | 人工智能 (cs.AI)、机器学习 (cs.LG) |
| 作者 | Shawn Li, Yue Zhao |
| 提交历史 | • v1: 2026年3月19日 • v2: 2026年6月18日 • v3（当前版本）: 2026年8月27日 |
| DOI | 10.48550/arXiv.2603.19423 |
| 许可证 | 知识共享署名 4.0  |
访问与资源
摘要
大语言模型（LLM）智能体越来越依赖外部工具（文件操作、API 调用、数据库事务）来自主完成复杂的、多步骤的任务。从业者部署经过防御训练的模型，以防范通过恶意观察或检索内容操纵智能体行为的提示词注入攻击。
我们揭示了一个根本性的能力-对齐悖论：旨在提升安全性的防御训练，在系统性地摧毁智能体胜任能力的同时，却未能阻止复杂的攻击。通过在 97 个智能体任务和 1,000 个对抗性提示词上评估防御模型与未防御的基线，我们发现了多步骤智能体特有的三种系统性偏差： * 智能体无能偏差表现为工具执行的立即崩溃，模型在观察到任何外部内容之前，就在良性任务上拒绝执行或生成无效操作。 * 级联放大偏差导致早期失败通过重试循环不断传播，导致防御模型在 99\% 的任务上超时，而基线模型的这一比例仅为 13\%。 * 触发偏差导致悖论性的安全性退化，防御模型的表现甚至不如未防御的基线，同时直接攻击以极高的比率绕过防御。
根本原因分析表明，这些偏差源于捷径学习：模型过度拟合表面攻击模式，而非建立语义威胁理解，防御效果在不同攻击类别之间表现出的极端方差证明了这一点。我们的研究结果表明，当前的防御范式针对单轮拒绝基准进行了优化，却从根本上使得多步骤智能体变得不可靠，因此迫切需要开发能够在对抗条件下保持工具执行能力的新方法。
Large language model (LLM) agents increasingly rely on external tools (file operations, API calls, database transactions) to autonomously complete complex multi-step tasks. Practitioners deploy defended-trained models to protect against prompt injection attacks that manipulate agent behavior through malicious observations or retrieved content.
We reveal a fundamental capability-alignment paradox: defense training designed to improve safety systematically destroys agent competence while failing to prevent sophisticated attacks. Evaluating defended models against undefended baselines across 97 agent tasks and 1,000 adversarial prompts, we uncover three systematic biases unique to multi-step agents: * Agent incompetence bias manifests as immediate tool execution breakdown, with models refusing or generating invalid actions on benign tasks before observing any external content. * Cascade amplification bias causes early failures to propagate through retry loops, pushing defended models to timeout on 99\% of tasks compared to 13\% for baselines. * Trigger bias leads to paradoxical security degradation where defended models perform worse than undefended baselines while straightforward attacks bypass defenses at high rates.
Root cause analysis reveals these biases stem from shortcut learning: models overfit to surface attack patterns rather than semantic threat understanding, evidenced by extreme variance in defense effectiveness across attack categories. Our findings demonstrate that current defense paradigms optimize for single-turn refusal benchmarks while rendering multi-step agents fundamentally unreliable, necessitating new approaches that preserve tool execution competence under adversarial conditions.