跳转至

文章背景与核心概要

大语言模型（LLM）从底层逻辑来看，本质上是将信息作为词元序列进行处理的，这使得模型很难在本质上区分受信任的系统指令与不可信的用户输入或工具输出。这种内在漏洞让攻击者能够执行提示词注入（Prompt Injection），从而劫持模型的行为表现。

为了解决这一痛点，本文提出了语义叠加层（Semantic Overlays）——一种新颖的带外引导技术，它通过在指定的预填充（prefill）位置将小型学习适配器应用到冻结模型的残差流中。与标准文本词元或原始引导向量不同，语义叠加层充当了丰富且非文本的注释，能够安全地传达片段身份（span identity）、重塑模型感知，并在不损害模型效用或文本可读性的前提下中和提示词注入攻击。

语义叠加层：超越词元与引导向量的提示词注入防御新范式

arXiv ID: arXiv:2608.23873
学科分类: 人工智能 (cs.AI); 计算与语言 (cs.CL); 密码学与安全 (cs.CR); 机器学习 (cs.LG)
作者: Joshua Penman
提交历史: 2026年8月24日提交；2026年8月28日最后修订 (v2)。

arXiv ID: arXiv:2608.23873
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Cryptography and Security (cs.CR); Machine Learning (cs.LG)
Author: Joshua Penman
Submission History: Submitted on 24 Aug 2026; last revised 28 Aug 2026 (v2).

📌 执行摘要

大语言模型（LLM）本质上是将信息作为词元序列进行处理，这使得模型很难从内在机制上区分受信任的系统指令与不可信的用户输入或工具输出。这种漏洞使攻击者能够执行提示词注入来劫持模型的行为。

为了解决这个问题，本文引入了语义叠加层——一种新颖的带外引导技术，它在指定的预填充位置将小型学习适配器应用到冻结模型的残差流中。与标准文本词元或原始引导向量不同，语义叠加层充当了丰富、非文本的注释，能够安全地传达片段身份、重塑模型感知，并在不损害模型效用或文本可读性的情况下中和提示词注入。

📌 Executive Summary

Large Language Models (LLMs) fundamentally process information as sequences of tokens, making it difficult for the model to intrinsically distinguish between trusted system instructions and untrusted user input or tool outputs. This vulnerability allows attackers to execute prompt injections that hijack model behavior.

To solve this, the paper introduces Semantic Overlays—a novel, out-of-band steering technique that applies small learned adapters to a frozen model's residual stream at designated prefill positions. Unlike standard text tokens or raw steering vectors, Semantic Overlays act as rich, non-textual annotations that safely communicate span identity, reshape model perception, and neutralize prompt injections without harming model utility or text readability.

🧠 核心概念：什么是语义叠加层？

  • 问题所在： LLM 服务堆栈会跟踪片段身份（例如用户输入与系统指令），但模型本身必须从文本中推断这一点。由于文本可以被精心伪装以模仿任何上下文，模型常常成为提示词注入的受害者。
  • 解决方案： 语义叠加层引入了一个非文本的注释通道。通过将小型学习适配器应用于冻结模型中选定的预填充位置：
  • 强制执行片段身份： 模型对带有标记的片段产生不同的感知（例如，通过改变其指定编程语言的叠加层来查看代码片段，或将不可信的文本严格视为"不可执行"）。
  • 承载复杂有效载荷： 叠加层可以携带模型必须遵循的指令。
  • 组合性与透明度： 叠加层能够整洁地组合，允许对底层内容进行透明读取（保持与原始文本 >95% 的字符相似度），并且无法通过标准词元复制。

🧠 Core Concept: What are Semantic Overlays?

  • The Problem: The LLM serving stack tracks span identity (e.g., user input vs. system instructions), but the model itself must infer this from text. Because text can be crafted to mimic any context, models frequently fall victim to prompt injection.
  • The Solution: Semantic Overlays introduce a non-textual annotation channel. By applying small learned adapters to chosen prefill positions in a frozen model:
  • Span Identity is Enforced: The model perceives marked spans differently (e.g., viewing a code snippet through an overlay that alters its designated programming language, or treating untrusted text as strictly "non-executable").
  • Complex Payloads: Overlays can carry imperatives that the model follows.
  • Composition & Transparency: Overlays compose cleanly, allow transparent reading of underlying content (maintaining >95% character similarity to the original text), and cannot be replicated by standard tokens.

📊 基准测试表现

语义叠加层在各大显著的提示词注入基准测试中展现出了SOTA（业界领先）的防御能力：

  • SEP 分离率： 显著从 24.3% 飙升至 99.0%（采用作者修正后的评分规则）。
  • TensorTrust 攻击成功率： 从 34.8% 下降至 6.2%。
  • AlpacaFarm 基准测试： 将恶意/不想要的成功率从 99.0% 降至 0%。
  • PIArena： 在保持模型回答问题能力的同时，超越了所有已发表的防御方法，并且维持了极高的字符可读性（>95%）。

📊 Benchmark Performance

Semantic Overlays demonstrate state-of-the-art defense capabilities across prominent prompt injection benchmarks:

  • SEP Separation: Rises dramatically from 24.3% to 99.0% (utilizing the author's corrected scoring rule).
  • TensorTrust Attack Success: Drops from 34.8% to 6.2%.
  • AlpacaFarm Benchmark: Drops malicious/unwanted success rates from 99.0% to 0%.
  • PIArena: Outperforms all published defenses that maintain the model's ability to answer questions, all while preserving high character readability (>95%).

🔗 资源与互动演示

🔗 Resources & Interactive Demos