跳转至

ADVERSA：衡量大语言模型中多轮护栏退化与判别器可靠性

文章背景与核心概要

当前针对大语言模型（LLM）的对抗性评估大多局限于单轮提示词及二元（通过/失败）的结果判定，这种方式忽略了安全机制在持续多轮交互中的退化过程。本文提出的 ADVERSA 是一个自动化红队测试框架，它将护栏退化建模为基于 5 分制量表的连续合规轨迹，从而更精准地捕捉模型在对抗压力下的动态表现。

为了解决现有模型作为攻击者时常出现不必要的安全拒绝问题，该框架引入了 ADVERSA-Red——一个经过 QLoRA 微调的 Llama-3.1-70B-Instruct 模型。研究通过三判别器共识架构对 Claude Opus 4.6、Gemini 3.1 Pro 和 GPT-5.2 等前沿模型进行了评估。研究发现，成功的越狱行为往往集中在对抗的早期阶段，而非随着交互轮次的增加而累积。

元数据与出版详情

  • arXiv 标识符： arXiv:2603.10068 [cs.CR]
  • 作者： Harry Owiredu-Ashley
  • 主要学科： 密码学与安全 (cs.CR)
  • 次要学科： 人工智能 (cs.AI)，计算与语言 (cs.CL)
  • 提交历史：
  • 提交日期：2026 年 3 月 10 日 (v1)
  • 最后修订：2026 年 8 月 25 日 (v2)
  • 会议出版： 2026 IEEE/ACIS 第 24 届软件工程研究、管理与应用国际会议 (SERA)，美国马里兰州陶森市，第 414–417 页。
  • 奖项： 荣获 IEEE/ACIS SERA 2026 年度最佳论文奖。
  • 资源与工件： GitHub 仓库 | Zenodo DOI

摘要

大多数针对大语言模型（LLM）安全性的对抗性评估仅评估单条提示词并报告二元通过/失败结果，这无法捕捉安全属性在持续对抗交互下的演变过程。我们提出了 ADVERSA，这是一个自动化红队测试框架，它将护栏退化动态衡量为每轮的连续合规轨迹，而非离散的越狱事件。

Most adversarial evaluations of large language model (LLM) safety assess single prompts and report binary pass/fail outcomes, which fails to capture how safety properties evolve under sustained adversarial interaction. We present ADVERSA, an automated red-teaming framework that measures guardrail degradation dynamics as continuous per-round compliance trajectories rather than discrete jailbreak events.

ADVERSA 使用了一个经过微调的 70B 攻击者模型（ADVERSA-Red，即采用 QLoRA 微调的 Llama-3.1-70B-Instruct），消除了现成模型作为攻击者时因安全拒绝而导致的不稳定性。该框架根据结构化的 5 分制量表对受害者模型的响应进行评分，将部分合规视为一种可测量的独立状态。

ADVERSA uses a fine-tuned 70B attacker model (ADVERSA-Red, Llama-3.1-70B-Instruct with QLoRA) that eliminates the attacker-side safety refusals that render off-the-shelf models unreliable as attackers, scoring victim responses on a structured 5-point rubric that treats partial compliance as a distinct measurable state.

我们报告了一项针对三个前沿受害者模型（Claude Opus 4.6、Gemini 3.1 Pro、GPT-5.2）的对照实验，该实验采用了三判别器共识架构，其中判别器的可靠性被视为一项首要研究成果，而非预设前提。在 15 组对话（每组最多 10 轮对抗）中，我们观察到 26.7% 的越狱率，平均越狱轮次为 1.25，这表明在此评估设置下，成功的越狱往往集中在早期轮次，而非通过持续压力累积而成。

We report a controlled experiment across three frontier victim models (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.2) using a triple-judge consensus architecture in which judge reliability is measured as a first-class research outcome rather than assumed. Across 15 conversations of up to 10 adversarial rounds, we observe a 26.7% jailbreak rate with an average jailbreak round of 1.25, suggesting that in this evaluation setting, successful jailbreaks were concentrated in early rounds rather than accumulating through sustained pressure.

我们记录了判别器间的一致性比率、自判别评分倾向、微调攻击者在训练分布外部署时作为失效模式的“攻击者漂移”，以及作为受害者抗性测量中此前被低估的混杂因素——“攻击者拒绝”。所有局限性均已明确说明。出于负责任的披露政策，攻击提示词未予公开；所有其他实验工件均已发布。

We document inter-judge agreement rates, self-judge scoring tendencies, attacker drift as a failure mode in fine-tuned attackers deployed out of their training distribution, and attacker refusals as a previously-underreported confound in victim resistance measurement. All limitations are stated explicitly. Attack prompts are withheld per responsible disclosure policy; all other experimental artifacts are released.