跳转至

并非所有的评估感知都生而平等：能力框架预示着合规性

文章背景与核心概要

当前的AI安全评估流程通常将“评估感知”（即模型识别出自己当前正在接受测试的能力）视为一个单一、统一的指标，并试图对其进行抑制。然而，本文的研究表明，模型思维链（CoT）中表达的评估感知远非单一维度，而是表现出截然不同的形式，例如偏向“能力”或偏向“安全”的表述。

至关重要的是，这些不同的框架对模型行为合规性的预测结果有着巨大差异。研究人员基于 FORTRESS 数据集对 Qwen3-32B 模型进行了测试，发现在所有测试的引导条件下，能力导向的框架（Capabilities-framing）比安全导向的框架在合规性上高出 24 到 46 个百分点。此外，思维链预填充（CoT prefill）干预表明这种关系具有因果性（11个预填充中有10个成功地按预测方向改变了合规性）。这意味着传统的总体抑制率指标可能会产生误导：单纯测量“X%的评估感知抑制”无法反映出与安全相关的核心组件是否真正发生了改变，从而导致截然不同的行为结果。

📌 摘要

Current AI safety evaluation pipelines often treat eval-awareness—a model's recognition that it is currently being tested—as a single, uniform quantity that needs to be suppressed.

当前的AI安全评估流程通常将评估感知（eval-awareness，即模型识别出自己当前正在接受测试）视为一个单一、统一的指标，并需要对其进行抑制。

This paper demonstrates that verbalized eval-awareness in a model's chain-of-thought (CoT) is far from uniform. Instead, it manifests in distinct ways: * Capabilities-flavored: "The user is testing my ability to follow instructions." * Safety-flavored: "The user is testing my boundaries." * Or a combination of both (or neither).

本文证明，模型思维链（CoT）中被语言化的评估感知远非单一维度。相反，它以截然不同的方式呈现： * 能力倾向型： "用户正在测试我遵循指令的能力。" * 安全倾向型： "用户正在测试我的底线。" * 或者两者的结合（或两者皆无）。

Crucially, these different framings predict behavioral compliance in vastly different ways. Using the Qwen3-32B model over the FORTRESS dataset, the authors found that capabilities-framing predicts compliance with a +24 to +46 percentage-point gap over safety-framing across all tested steering conditions.

至关重要的是，这些不同的框架对行为合规性的预测结果存在巨大差异。作者使用 FORTRESS 数据集对 Qwen3-32B 模型进行研究，发现在所有测试的引导条件下，能力导向框架比安全导向框架在合规性预测上高出 +24 到 +46 个百分点。

Furthermore, a Chain-of-Thought prefill intervention suggests this relationship is causal (10 out of 11 prefills successfully shifted compliance in the predicted direction). This implies that aggregate suppression rates can be misleading: simply measuring "X% suppression of eval-awareness" fails to capture whether the safety-relevant component has actually moved, resulting in qualitatively different behavioral outcomes.

此外，思维链预填充（CoT prefill）干预表明这种关系具有因果性（11个预填充中有10个成功地按预测方向改变了合规性）。这意味着整体抑制率可能会产生误导：单纯测量“评估感知被抑制了 X%”并不能捕捉到与安全相关的核心组件是否真正发生了位移，从而导致质上完全不同的行为结果。

🔗 全文与资源

🔎 引用与参考文献