文章背景与核心概要
本文深入探讨了大语言模型（LLM）拒绝回答机制内部的工作原理。通过探究模型拒绝回答究竟是因为“遗忘”了答案，还是仅仅在输出层进行了抑制，作者们利用双向激活修补技术（bidirectional activation patching），揭示了模型在处理拒绝与回答时存在的一种因果不对称性（即“对称性破缺”）。
研究发现，即使LLM输出了干净的拒绝语句，其内部隐藏状态中依然可以线性恢复出正确的答案。更重要的是，干预手段呈现出明显的不对称特征：释放一个被扣留的答案是一个高度局部的操作（仅需单位置修补），而强行让模型从回答状态转变为拒绝状态则要复杂得多，需要更大范围的多位置干预。该研究对大模型安全控制具有重要启示，表明基于探针的可恢复性可能会高估模型的实际行为控制能力，单纯识别出与拒绝相关的方向并不意味着能够轻松操纵模型在回答与拒绝之间切换。
Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration
arXiv: 2608.15772
Authors: Yiqi Liu, Yang Wang, Songxin Wang, Chenghao Xiao, Chenghua Lin
Date: August 16, 2026
Subject: Artificial Intelligence (cs.AI)
摘要
Summary
本研究调查了大语言模型（LLM）拒绝机制的内部运作机制。作者探讨了模型的拒绝究竟是“忘记”了答案的结果，还是仅仅在输出层抑制了答案。通过采用双向激活修补方法，该研究揭示了模型在处理拒绝与回答时的因果不对称性——或称“对称性破缺”。
This research investigates the internal mechanics of Large Language Model (LLM) refusals. The authors explore whether a refusal is the result of the model "forgetting" the answer or merely suppressing it at the output layer. By employing bidirectional activation patching, the study reveals a causal asymmetry—or "broken symmetry"—in how models handle refusals versus answers.
核心发现包括： * 线性可恢复性： 即使LLM生成了干净的拒绝，正确的答案依然可以从其内部隐藏状态中被线性恢复出来。 * 不对称干预： 释放被扣留的答案是一个高度局部的操作（只需单位置修补），而强行将模型从回答状态转变为拒绝状态则复杂得多，需要更广泛的多位置干预。 * 控制局限性： “平均回答到拒绝的位移向量”并非一个可靠、可逆的控制开关。
Key findings include: * Linear Recoverability: Even when an LLM generates a clean refusal, the correct answer remains linearly recoverable from its internal hidden states. * Asymmetric Intervention: Releasing a withheld answer is a highly local operation (requiring only a single-position patch), whereas forcing a model to transition from answering to refusal is significantly more complex, requiring broader, multi-position interventions. * Control Limitations: The "average answer-to-refusal displacement vector" is not a reliable, reversible control toggle.
启示： 该研究表明，基于探针的可恢复性可能会高估模型实际的行为控制能力，且识别出与拒绝相关的方向并不一定赋予我们在回答和拒绝之间操纵模型的能力。
Implications: The study suggests that probe-based recoverability may overestimate a model's actual behavioral control, and identifying refusal-relevant directions does not necessarily grant the ability to steer a model between answering and refusing.
访问论文
Accessing the Paper
许可证
License
引用
如需引用本工作，请参考 arXiv 详情页 获取 BibTeX 及其他引用格式。
Citation
To cite this work, please refer to the arXiv landing page for BibTeX and other citation formats.