跳转至

同步 Logit 引导：现实世界中的隐写术

文章背景与核心概要

大语言模型（LLM）的隐写术通常要求发送方和接收方共享完全相同的提示词（Prompt）上下文，然而在利用检索增强生成（RAG）或专有系统指令的生产环境中，这一条件往往难以满足。

本文提出了“同步 Logit 引导”（Synchronized Logit Steering, SLS）技术，这是一种确定性的隐写方案。该方案通过直接从生成的输出中推导出代理提示词，从而摆脱了对原始提示词的依赖，使双方能够在无需原始提示词的情况下重建相同的 Logit 分布。通过将有效载荷作为 Token 排名嵌入到代理分布的高熵区域，并利用周期性递归和突发传输来扩展信息密度，SLS 实现了隐蔽且与提示词无关的通信，且在统计学上与贪婪生成（Greedy Generation）难以区分。

📋 摘要 (Summary)

大语言模型（LLM）隐写术提供了一种在自然语言文本中嵌入隐藏信息的方法。现有的 Token 和 Logit 级别方法通常要求发送方和接收方共享相同的提示词上下文，而在使用检索增强生成或专有系统指令的生产流水线中，这一条件很难得到保证。

Large Language Model (LLM) steganography usually requires both the sender and receiver to share an identical prompt context—a condition rarely met in production environments utilizing retrieval-augmented generation (RAG) or proprietary system instructions.

我们引入了“同步 Logit 引导”（Synchronized Logit Steering, SLS），这是一种确定性的隐写方案，它通过从生成的输出本身推导出代理提示词来消除这种依赖，使双方能够在无需访问原始提示词的情况下重建相同的 Logit 分布。SLS 将有效载荷值编码为代理提示词分布中高熵区域的 Token 排名，并利用周期性递归和有效载荷突发来扩展信息密度。

This paper introduces Synchronized Logit Steering (SLS), a deterministic steganographic scheme that bypasses this limitation by deriving a proxy prompt directly from the generated output. This allows both parties to reconstruct the same logit distribution without needing the original prompt. By embedding payloads as token ranks within high-entropy regions of the proxy distribution—and scaling information density through periodic recurrence and bursts—SLS achieves covert, prompt-agnostic communication that remains statistically indistinguishable from greedy generations.

🔍 抽象 (Abstract)

大语言模型中的隐写术提供了一种在听起来自然的文本中嵌入隐藏信息的方法。现有的 Token 和 Logit 级别方法通常要求发送方和接收方共享相同的提示词上下文，而在使用检索增强生成或专有系统指令的生产流水线中，这一条件很少能得到保证。

Steganography in large language models offers a way to embed hidden messages within natural-sounding text. Existing token and logit-level methods typically require the sender and receiver to share an identical prompt context, which is rarely guaranteed in production pipelines that use retrieval-augmented generation or proprietary system instructions.

我们引入了“同步 Logit 引导”（SLS），这是一种确定性的隐写方案，它通过从生成的输出本身推导出代理提示词来消除这种依赖，使双方能够在无需访问原始提示词的情况下重建相同的 Logit 分布。SLS 将有效载荷值编码为代理提示词分布中高熵区域的 Token 排名，并扩展了该方案，通过周期性递归和有效载荷突发来扩展信息密度。

We introduce Synchronized Logit Steering (SLS), a deterministic steganographic scheme that eliminates this dependency by deriving a proxy prompt from the generated output itself, allowing both parties to reconstruct the same logit distribution without access to the original prompt. SLS encodes payload values as token ranks within high-entropy regions of the proxy prompt distribution, and we extend the scheme with periodic recurrence and payload bursts to scale information density.

在 ShareGPT、GSM8K 和 SWE-bench Verified 数据集上的测试表明，当同步窗口达到 40 个 Token 时，真实分布与代理提示词分布之间的 KL 散度降至 0.5 nats 以下，且 SLS 编码相对于贪婪生成而言，不会对这种收敛性产生显著干扰。我们还发现，周期性突发变体实现了每个 Token 0.20 比特（约为单载荷编码容量的 10 倍）的传输速率。柯尔莫哥洛夫-斯米尔诺夫检验（Kolmogorov-Smirnov tests）进一步证实，SLS 输出在统计学上很难与贪婪生成区分开来，证明了通过 LLM 进行隐蔽且与提示词无关的通信既实用又隐秘。

Across ShareGPT, GSM8K, and SWE-bench Verified, we show that the KL divergence between the true and proxy prompt distributions falls below 0.5 nats once the synchronization window reaches 40 tokens, and SLS encoding does not meaningfully disrupt this convergence relative to greedy generation. We also find that the periodic-burst variant achieves 0.20 bits per token (roughly 10x the capacity of single-payload encoding). Kolmogorov-Smirnov tests further confirm that SLS outputs are statistically difficult to distinguish from greedy generations, demonstrating that covert, prompt-agnostic communication through LLMs is both practical and stealthy.

📂 附加资源与元数据 (Additional Resources & Metadata)

外部参考 (External References)

External References