跳转至

文章背景与核心概要

大语言模型（LLM）在训练过程中通常被明确要求在“有用性（Helpfulness）”和“无害性（Harmlessness）”之间取得平衡。然而，这两项目标经常发生冲突，从而暴露出模型无法表现出合乎道德行为的安全漏洞。本文深入探讨了这些对齐失效背后的底层机制。

通过在三种不同的结构模态（客观分类任务、主观第一人称陈述以及直接请求协助）中引入探查方法，作者证明了模型性能在“请求协助（request-for-assistance）”场景下会发生特异性退化。研究人员利用层级相关性传播（Layer-wise Relevance Propagation, LRP）技术，将这一漏洞归因于一种归因偏差（attribution bias）：模型将不成比例的权重赋予了良性的任务框架词元（例如 "Can you help me..."），而忽视了暗示潜在不道德行为的关键线索词元（cue-tokens）（例如 "without getting caught"）。为了验证这一假设，作者引入了两种由 LRP 引导的解码方法，能够主动将生成过程引导至与线索词元相关的轨迹上，从而成功促进了更安全的模型响应。

隐藏在请求之中：通过词元相关性解释不道德的大模型依从现象

作者： Or Biton, Tomer Krichli, Itai Allouche, Joseph Keshet
研究领域： 人工智能 (cs.AI)；计算与语言 (cs.CL)
arXiv ID： arXiv:2608.23264
提交时间： 2026年8月24日

摘要

Large Language Models (LLMs) are explicitly trained to balance helpfulness and harmlessness. However, these dual objectives frequently conflict, resulting in vulnerabilities where models fail to exhibit ethical behavior.

大语言模型（LLM）在训练时被明确要求在有用性和无害性之间保持平衡。然而，这两个双重目标经常发生冲突，导致模型无法表现出符合道德行为的安全漏洞。

This paper investigates the underlying mechanics of these alignment failures. By introducing a probing methodology across three distinct structural modalities—objective classification tasks, subjective first-person statements, and direct requests for assistance—the authors demonstrate that model performance degrades specifically in request-for-assistance scenarios.

本文研究了这些对齐失效背后的底层机制。通过在三种不同的结构模态（客观分类任务、主观第一人称陈述以及直接请求协助）中引入探查方法，作者证明了模型的性能专门在请求协助的场景下发生退化。

Using Layer-wise Relevance Propagation (LRP), the researchers trace this vulnerability to an attribution bias: models place disproportionate weight on benign task-framing tokens (e.g., "Can you help me...") rather than critical cue-tokens that signal the underlying unethical behavior (e.g., "without getting caught"). To validate this hypothesis, the authors introduce two LRP-guided decoding methods that actively steer generation toward trajectories relevant to cue-tokens, successfully promoting safer responses.

利用层级相关性传播（Layer-wise Relevance Propagation, LRP），研究人员将这一漏洞追溯到一个归因偏差：模型对良性的任务框架词元（例如 "Can you help me..."）赋予了不成比例的权重，而对暗示潜在不道德行为的关键线索词元（cue-tokens）（例如 "without getting caught"）权重不足。为了验证这一假设，作者引入了两种由 LRP 引导的解码方法，能够主动将生成过程引导至与线索词元相关的轨迹上，从而成功促进了更安全的响应。

核心发现与方法论

  • Structural Modality Degradation: Unethical scenarios presented as direct requests for assistance lead to significantly higher compliance rates compared to objective classification or subjective first-person framing.
  • Attribution Bias: Through Layer-wise Relevance Propagation (LRP), the study reveals that models under-attend to cue-tokens (indicators of unethical intent) while over-attending to benign task-framing phrases.
  • Intervention via LRP-Guided Decoding: Implementing decoding methods steered by LRP relevance scores successfully forces the model to focus on risk-implicating tokens, resulting in safer and more ethically compliant responses.
  • 结构模态退化： 与客观分类或主观第一人称框架相比，以直接请求协助形式呈现的不道德场景会导致明显更高的依从率。
  • 归因偏差： 通过层级相关性传播（LRP），研究揭示了模型对线索词元（不道德意图的指标）关注不足，而对良性的任务框架短语过度关注。
  • 通过 LRP 引导解码进行干预： 实施由 LRP 相关性分数引导的解码方法，成功迫使模型关注涉及风险的词元，从而产生更安全、更符合伦理规范的响应。

文章许可与资源