照我说的做，别学我做的：大语言模型中的指令-归纳冲突

文章背景与核心概要

大语言模型（LLM）本质上是双重性质的系统：它们既经过训练以服从用户的显式指令，又作为强大的模式补全器运行。本文深入研究了“指令-归纳冲突”（Instruction-Induction Conflict），即当显式用户指令（例如采用某种角色、强制执行语言约束、输出特定 token）与通过 \(N\) 个硬编码助手轮次展示的竞争模式 \(P\) 直接冲突时会发生什么。

通过对 13 个模型和 16 种不同指令进行长达 50 个轮次的测试，作者发现指令遵循（IF）的鲁棒性差异巨大（从 1% 到 99%），且与标准能力基准的关联度较差。尽管模型能够系统性地理解自身的脆弱性，但它们经常在正确的内部推理和不合规的最终输出之间经历解离。

元数据

• arXiv ID: 2605.20382 [cs.CL]
• 学科分类: 计算与语言 (cs.CL)；人工智能 (cs.AI)
• 作者: Carolina Camassa, Derek Shiller
• 提交历史:
• [v1] 2026年5月19日（星期二）
• [v2] 2026年6月19日（星期五）
• [v3] 2026年9月1日（星期二）（当前版本）
• 会议状态: 31页，已被接收为 Sci-FM Workshop (COLM 2026) 的海报论文

执行摘要

大语言模型（LLM）本质上是双重性质的系统：它们既经过训练以服从用户的显式指令，又作为强大的模式补全器运行。本文研究了指令-归纳冲突（Instruction-Induction Conflict）——当显式用户指令（例如采用某种角色、强制执行语言约束、输出特定 token）与通过 \(N\) 个硬编码助手轮次展示的竞争模式 \(P\) 发生直接冲突时所发生的情况。

Large Language Models (LLMs) are dual-natured systems trained both to obey explicit user instructions and to act as powerful pattern completers. This paper investigates Instruction-Induction Conflict—what happens when an explicit user instruction (e.g., adopting a persona, enforcing a language constraint, outputting a specific token) directly opposes a competing pattern \(P\) demonstrated across \(N\) hardcoded assistant turns.

通过对 13 个模型和 16 种不同指令进行长达 50 个轮次的测试，作者揭示了指令遵循（IF）的鲁棒性差异巨大（从 1% 到 99%），且与标准能力基准的关联度较低。虽然模型能够系统性地理解自身的脆弱性，但它们经常在正确的内部推理与不合规的最终输出之间经历解离。

Testing across 13 models and 16 different instructions for up to 50 turns, the authors reveal that instruction-following (IF) robustness varies wildly (from 1% to 99%) and correlates poorly with standard capability benchmarks. While models systematically understand their vulnerabilities, they frequently experience a dissociation between correct internal reasoning and non-compliant final outputs.

核心发现

• 普遍存在但依赖于模型的崩溃: 在归纳压力下，从遵循指令向遵循模式的最终转变是普遍发生的，但崩溃点在很大程度上取决于具体的模型架构。

  • Universal yet Model-Dependent Collapse: The eventual transition from instruction-following to pattern-following happens universally under induction pressure, but the breaking point relies heavily on the specific model architecture.

• 价值先验与输出格式至关重要:

• 当指令自然契合其训练的价值先验时，模型能够抵御更长时间的归纳压力。

• 多样化的多 token 响应对模式劫持表现出显著更高的抵抗力，相较于单 token 输出。输出多样性（而非与输入的深度语义交互）是鲁棒性的主要预测指标。

  • Value Priors & Output Formats Matter:
  • Models hold out longer against induction pressure when instructions naturally align with their trained value priors.
  • Diverse multi-token responses show substantially higher resilience to pattern hijacking than single-token outputs. Output diversity—rather than deep semantic engagement with the input—is the primary predictor of robustness.

• 思维链（CoT）的局限性: 采用 CoT 推理虽然能提高整体鲁棒性，但并不能消除易感性。在某些情况下，它会产生一种诡异的解离现象：模型在其推理轨迹中进行了正确的深思熟虑，却输出了不正确且符合模式的最终结果。

  • The Limits of Chain-of-Thought (CoT): While employing CoT reasoning improves overall robustness, it does not eliminate susceptibility. In some cases, it creates a bizarre dissociation where the model deliberates correctly in its reasoning trace yet produces an incorrect, pattern-compliant output.

• 元认知盲区: 当被提示预测自己在这些场景中的行为崩溃时，模型平均能达到较高的预测准确率（83.5%），但它们系统性地低估了自身对归纳压力的实际抵抗力。

  • Metacognitive Blind Spots: When prompted to predict their own behavioral breakdown in these scenarios, models achieve high predictive accuracy on average (83.5%), but systematically underestimate their actual resistance to induction pressure.