跳转至

文章背景与核心概要

本研究探讨了通过分析大语言模型（LLM）潜在空间激活值，利用轻量级多层感知机（MLP）探测器识别有害提示词的有效性。该研究基于2026年Khatri等人的前期工作，旨在验证此类探测器在LLaMA-3.1-8B模型上的表现，并将其应用范围扩展至更多模型架构及推理条件。

研究的核心意义在于验证了安全探测技术的跨模型通用性。通过对Gemma、Mistral和Qwen等不同架构的测试，研究证实了该探测方法具有高度的可复现性和稳定性，为构建模型无关的通用安全防御机制提供了重要的实证支持。

所有大语言模型都能感知自身是否在输出有害内容吗？针对模型家族潜在空间安全探测器的可复现性研究

作者： Alizishaan Khatri, Dun Li Chan
日期： 2026年8月8日
arXiv： 2608.08029
学科： 机器学习 (cs.LG)；人工智能 (cs.AI)；密码学与安全 (cs.CR)

摘要

This study investigates the efficacy of lightweight Multi-Layer Perceptron (MLP) probes in detecting harmful prompts by analyzing the latent-space activations of Large Language Models (LLMs). Building on previous research (Khatri et al., 2026) which demonstrated that such probes could achieve competitive performance on LLaMA-3.1-8B, this paper performs an end-to-end reproducibility study and expands the scope to other model architectures and inference conditions.

本研究探讨了通过分析大语言模型（LLM）潜在空间激活值，利用轻量级多层感知机（MLP）探测器识别有害提示词的有效性。该研究基于2026年Khatri等人的前期工作，旨在验证此类探测器在LLaMA-3.1-8B模型上的表现，并将其应用范围扩展至更多模型架构及推理条件。

关键发现

  • Generalizability: The researchers successfully applied the original MLP probe architecture to other model families, including Gemma-4-E4B, Mistral-7B-v0.3, and Qwen2-7B. Performance remained within one percentage point of the original LLaMA-3.1-8B benchmarks.
  • Reproducibility: The study reproduced the original LLaMA benchmarks with high fidelity, achieving F1 scores within 0.37 percentage points of the original findings.
  • Inference Stability: By testing across five different random seeds, the authors observed that final token latent vectors remained consistent across all tested architectures, regardless of the seed values used.
  • 通用性： 研究人员成功将原始的MLP探测器架构应用于其他模型家族，包括 Gemma-4-E4B、Mistral-7B-v0.3 和 Qwen2-7B。其性能表现与原始的LLaMA-3.1-8B基准测试结果相比，偏差均在1个百分点以内。
  • 可复现性： 该研究以高保真度复现了原始的LLaMA基准测试，F1分数与原始研究结果的偏差在0.37个百分点以内。
  • 推理稳定性： 通过在五个不同的随机种子下进行测试，作者观察到所有测试架构的最终Token潜在向量保持一致，且不受所用种子值的影响。

方法论

The study utilized three primary benchmarks to evaluate the probes: 1. WildJailbreak 2. BeaverTails 3. AEGIS 2.0

The researchers tested the robustness of these probes by: * Training identical probes on activations from diverse model architectures. * Measuring the variance of F1 scores across multiple inference runs to account for non-determinism.

该研究利用三个主要基准测试来评估探测器： 1. WildJailbreak 2. BeaverTails 3. AEGIS 2.0

研究人员通过以下方式测试了这些探测器的稳健性： * 在来自不同模型架构的激活值上训练相同的探测器。 * 测量多次推理运行中F1分数的方差，以考量非确定性因素。

获取与资源

license icon