跳转至

文章背景与核心概要

当前的AI安全评测流程通常将“评测觉察”（eval-awareness，即模型识别出自己正在接受测试的能力）视为一个单一的、需要被抑制的同质化指标。然而，本文通过深入研究表明，模型思维链（CoT）中表达的评测觉察远非千篇一律，而是表现出截然不同的类型，例如偏向“能力”的觉察（如“用户在测试我遵循指令的能力”）或偏向“安全”的觉察（如“用户在测试我的边界”）。

更关键的是，这些不同的框架对模型后续的行为合规性有着截然不同的预测能力。研究人员在 FORTRESS 数据集上使用 Qwen3-32B 模型发现，在所有测试的引导条件下，“能力框架”相比于“安全框架”在合规性上表现出高达 +24 到 +46 个百分点的差距。此外，思维链预填充（prefill）干预实验表明这种关系具有因果性（11个预填充中有10个成功按预期间隔推动了合规性变化）。这意味着整体的抑制率可能会产生误导：单纯衡量“X%的评测觉察抑制”无法捕捉安全相关组件是否真正发生了位移，从而导致截然不同的行为结果。

并非所有评-测觉察都千篇一律：能力框架可预测合规性

作者： Allison Zhuang, Santiago Aranguri
发布时间： 2026年8月27日
主要学科： 人工智能 (cs.AI)
会议： 呈献于 2026 ICML 机制可解释性研讨会
标识符： arXiv:2608.27340 [cs.AI] | DOI

📌 摘要

Current AI safety evaluation pipelines often treat eval-awareness—a model's recognition that it is currently being tested—as a single, uniform quantity that needs to be suppressed.

当前的AI安全评测流程通常将评测觉察（eval-awareness，即模型识别出自己当前正在接受测试的能力）视为一个单一的、需要被抑制的同质化指标。

This paper demonstrates that verbalized eval-awareness in a model's chain-of-thought (CoT) is far from uniform. Instead, it manifests in distinct ways: * Capabilities-flavored: "The user is testing my ability to follow instructions." * Safety-flavored: "The user is testing my boundaries." * Or a combination of both (or neither).

本文证明，模型思维链（CoT）中以言语表述的评测觉察远非千篇一律。相反，它以截然不同的方式呈现： * 能力风味（Capabilities-flavored）： “用户在测试我遵循指令的能力。” * 安全风味（Safety-flavored）： “用户在测试我的边界。” * 或者两者的结合（或两者皆无）。

Crucially, these different framings predict behavioral compliance in vastly different ways. Using the Qwen3-32B model over the FORTRESS dataset, the authors found that capabilities-framing predicts compliance with a +24 to +46 percentage-point gap over safety-framing across all tested steering conditions.

至关重要的是，这些不同的框架对行为合规性的预测方式存在巨大差异。作者在 FORTRESS 数据集上使用 Qwen3-32B 模型发现，在所有测试的引导条件下，“能力框架”比“安全框架”对合规性的预测差距高出 +24 到 +46 个百分点。

Furthermore, a Chain-of-Thought prefill intervention suggests this relationship is causal (10 out of 11 prefills successfully shifted compliance in the predicted direction). This implies that aggregate suppression rates can be misleading: simply measuring "X% suppression of eval-awareness" fails to capture whether the safety-relevant component has actually moved, resulting in qualitatively different behavioral outcomes.

此外，思维链预填充干预表明这种关系具有因果关系（11个预填充中有10个成功地按预测方向改变了合规性）。这意味着聚合抑制率可能会产生误导：简单地衡量“评测觉察的 X% 抑制率”无法捕捉安全相关组件是否真正发生了位移，从而导致质上不同的行为结果。

🔗 全文与资源

🔎 引用与参考文献