跳转至

用一张纸劫持机器人：VLM控制机器人中物理提示词注入的系统性研究

文章背景与核心概要

随着视觉语言模型（VLM）越来越多地用作机器人系统中的高层规划器——基于对视觉场景的理解将自然语言指令转化为可执行的操作——它们引入了一个关键的全新攻击面。本文深入研究了物理物理提示词注入（Physical Prompt Injection），这是一种对抗性漏洞：放置在机器人视野内的对抗性文本（例如写在纸上或标牌上）会操纵VLM的推理过程。

通过对三个前沿VLM（GPT-4o、Gemini 2.5 Flash 和 Qwen3-VL-32B）进行包含 5,670次试验 的大规模评估，研究人员探讨了四类攻击分类：1. 间接标牌；2. 任务重新定义；3. 权威假冒；4. 冲突注入。研究表明，VLM控制的机器人操作极易受到简单的、人类可读的物理文本的影响，并对这些漏洞及潜在防御机制进行了深入分析。

摘要

As Vision-Language Models (VLMs) increasingly serve as high-level planners in robotic systems—translating natural-language instructions into executable actions based on visual scene understanding—they introduce a critical new attack surface. This paper investigates Physical Prompt Injection, a vulnerability where adversarial text placed directly within a robot's visual field (such as on a piece of paper or signage) manipulates the VLM's reasoning process.

随着视觉语言模型（VLM）越来越多地充当机器人系统中的高层规划器——根据对视觉场景的理解将自然语言指令转化为可执行动作——它们引入了一个关键的全新攻击面。本文研究了物理提示词注入（Physical Prompt Injection），即直接放置在机器人视野内（如纸张或标牌上）的对抗性文本操纵VLM推理过程的漏洞。

Through a massive evaluation comprising 5,670 trials across three frontier VLMs (GPT-4o, Gemini 2.5 Flash, and Qwen3-VL-32B), the researchers explore a four-category taxonomy of attacks: 1. Indirect signage 2. Task redecision 3. Authority impersonation 4. Conflict injection

通过对三个前沿VLM（GPT-4o、Gemini 2.5 Flash 和 Qwen3-VL-32B）进行的包含 5,670次试验 的大规模评估，研究人员探索了四类攻击分类： 1. 间接标牌 2. 任务重新定义 3. 权威假冒 4. 冲突注入

The study demonstrates that VLM-controlled robotic manipulation is significantly vulnerable to simple, human-readable physical text, and analyzes both the vulnerabilities and potential defense mechanisms.

该研究表明，VLM控制的机器人操作对简单、人类可读的物理文本具有显著的脆弱性，并分析了漏洞和潜在的防御机制。

关键发现与方法论

  • Benchmark Design: Evaluated 20 distinct attack prompts across three physical scene layouts and three different command formulations (varying in destination specificity and rule explicitness).
  • 基准设计： 在三种物理场景布局和三种不同的命令配方（变化的目标明确性和规则显式性）中评估了20种不同的攻击提示词。
  • Model Success Rates:
  • Gemini 2.5 Flash: 29.4% success rate (defends primarily through explicit rejection).
  • GPT-4o: 27.0% success rate (defends primarily through perceptual inattention).
  • Qwen3-VL-32B: 5.0% success rate.
  • 模型成功率：
  • Gemini 2.5 Flash： 29.4% 成功率（主要通过显式拒绝进行防御）。
  • GPT-4o： 27.0% 成功率（主要通过感知注意力不集中进行防御）。
  • Qwen3-VL-32B： 5.0% 成功率。
  • Universal Vulnerabilities: Authority-impersonating and negation attacks successfully transferred across all three tested models.
  • 通用漏洞： 冒充权威和否定攻击在所有三个测试模型中均成功迁移。
  • Reasoning Traces: Analysis shows that successful compromise is almost always conscious, boasting a 99.9% acknowledgment rate by the models of the adversarial text.
  • 推理轨迹： 分析表明，成功的妥协几乎总是有意识的，模型对对抗性文本的确认率高达 99.9%。

评估的缓解措施

The authors evaluated three simple mitigation strategies to counter physical prompt injections:

作者评估了三种应对物理提示词注入的简单缓解策略：

  1. Prompt-based Defense: 75% – 100% effective (model-dependent).
  2. Two-stage Verification: 85% – 100% effective.
  3. Pre-processing Text Masking: 100% effective.
  1. 基于提示词的防御： 75% – 100% 有效（取决于模型）。
  2. 两阶段验证： 85% – 100% 有效。
  3. 预处理文本掩码： 100% 有效。

Trade-off Note: While these defenses substantially reduce security risks and preserve general task capabilities, they can potentially impair tasks that genuinely require the robot to read in-scene labels.

权衡说明： 尽管这些防御措施显着降低了安全风险并保留了通用任务能力，但它们可能会损害真正需要机器人读取场景中文本标签的任务。

文档链接与资源