语言模型中的评估意识：表征、言语化与控制

文章背景与核心概要

人工智能领域的能力与安全性基准测试通常基于一个核心假设：模型在测试环境下的行为能够准确反映其在真实部署场景中的表现。然而，如果模型能够识别出自己正处于被评估的状态，并据此调整其响应，这一假设便会失效，这种现象被称为“评估意识”（Evaluation Awareness）。

本文对六种语言模型（涵盖四个模型家族和三种规模）进行了系统性研究，通过三种不同的指标深入探讨了评估意识。作者分析了模型的内部表征、言语化输出以及通过引导（steering）进行的因果控制，揭示了模型在内部处理评估上下文的方式与其外部表达之间存在关键的脱节。

论文元数据

arXiv ID: arXiv:2608.21766 [cs.CL]
学科领域: 计算与语言 (cs.CL)；人工智能 (cs.AI)
作者: Farzaneh Heidari, Amin Memarian, Guillaume Rabusseau ( 同等贡献 )*
提交日期: 2026年8月22日

关键发现与方法论

1. 表征 (Representation)

线性可解码性： 本研究测试了“处于评估状态”这一条件是否在线性模型激活空间中有所表征。
结果： 在所有受测模型的残差流（residual streams）中，评估意识均可被线性解码，且 AUROC 值均达到 \(\geq 0.7\) 的强相关水平。

Linear Decodability: The study tests whether the condition of being under evaluation is linearly represented within the models' activation spaces.

Results: Evaluation awareness is linearly decodable from the residual streams of every tested model, achieving a strong AUROC \(\geq 0.7\).

2. 言语化 (Verbalization)

输出分析： 作者通过“LLM 作为裁判”（LLM-as-judge）的方法，检查这种内部意识是否会转化为模型输出的 token。
结果： 内部表征与言语化之间仅存在部分对齐。虽然在某些设置下相关性和互信息不为零，但它们会根据模型、层级和读取方式的不同而产生显著差异。尽管如此，沿着探测方向对模型进行引导，仍能成功改变其言语化得分。

Output Analysis: The authors examine whether this internal awareness is verbalized in the models' output tokens, scored via an LLM-as-judge approach.

Results: Internal representations align only partially with verbalization. While correlations and mutual information are non-zero in certain settings, they vary substantially depending on the model, layer, and readout choice. Nevertheless, steering models along probe-derived directions can successfully shift verbalization scores.

3. 演化动力学 (Olmo 检查点)

训练阶段分析： 通过评估 Olmo 模型在所有训练阶段的开放检查点，本研究追踪了评估意识随时间的演变过程。
基础模型与微调模型： 评估意识在基础模型中就已经存在，在监督微调（SFT）过程中得到增强，并在之后保持相对稳定。
引导动力学： 与 SFT 后内部表征的静态性质相反，引导效应在每一个后续的训练阶段中都表现得愈发显著。

Training Stage Analysis: By evaluating open-checkpoint Olmo models across all training stages, the study tracks how evaluation awareness develops over time.

Base vs. Fine-Tuned Models: Evaluation awareness is already present in base models, becomes amplified throughout supervised fine-tuning (SFT), and remains relatively stable thereafter.

Steering Dynamics: In contrast to the static nature of internal representations post-SFT, the effects of steering grow progressively more pronounced at every successive training stage.

结论与启示

研究结果强调了模型在内部表征什么、言语化表达什么以及如何响应引导这三者之间存在根本性的脱节。未来的基准测试和安全性评估必须考虑这些差异，以确保测试环境能够可靠地捕捉到模型在真实部署中的行为。

The findings highlight a fundamental disconnect between what models represent internally, what they verbalize, and how they respond to steering. Future benchmarks and safety evaluations must account for these discrepancies to ensure that testing environments reliably capture true deployment behavior.