文章背景与核心概要
自主安全代理通常以顺序多阶段流水线（例如分类网络流量并将其攻击归因于特定技术）的形式运行。虽然分离共形预测（split conformal prediction）为各个阶段提供了有限样本覆盖保证，但实际部署需要跨整个执行链的轨迹级保证。当各个阶段被独立训练和校准时，这些保证无法自动组合。
本文研究了事后轨迹风险认证（post-hoc trajectory-risk certification）面临的挑战，指出传统的邦弗朗尼校正（Bonferroni allocations）在存在相关误差时过于保守，且成对相关的朴素多阶段扩展在统计上是无效的。作者提出了有效的替代方案，分析了样本复杂度，并在多个开源大模型和数据集上评估了基于模块化大语言模型的流水线。
面向模块化大模型安全代理的事后轨迹风险认证
作者： Zhenpeng Li
发布时间： 2026年8月4日
主要主题： 密码学与安全 (cs.CR)
arXiv ID： 2608.05199 | DOI： 10.48550/arXiv.2608.05199
📌 摘要
Autonomous security agents often operate as sequential, multi-stage pipelines (e.g., classifying network traffic followed by attributing attacks to specific techniques). While split conformal prediction provides finite-sample coverage for individual stages, deployment requires a trajectory-level guarantee across the entire execution chain. These guarantees do not automatically compose when stages are independently trained and calibrated.
自主安全代理通常以顺序多阶段流水线（例如分类网络流量并将其攻击归因于特定技术）的形式运行。虽然分离共形预测为各个阶段提供了有限样本覆盖保证，但实际部署需要跨整个执行链的轨迹级保证。当各个阶段被独立训练和校准时，这些保证无法自动组合。
This paper investigates the challenges of post-hoc trajectory-risk certification, showing that traditional Bonferroni allocations are conservative under correlated errors, and that naive multi-stage extensions of pairwise correlations are statistically invalid. The author proposes valid alternatives, analyzes sample complexities, and evaluates modular LLM-based pipelines across multiple open-source LLMs and datasets.
本文研究了事后轨迹风险认证面临的挑战，指出传统的邦弗朗尼校正在存在相关误差时过于保守，且成对相关的朴素多阶段扩展在统计上是无效的。作者提出了有效的替代方案，分析了样本复杂度，并在多个开源大模型和数据集上评估了基于模块化大语言模型的流水线。
🔍 核心贡献与发现
- Invalidity of Naive Extensions: Demonstrates that a natural pairwise-correlation extension to three or more stages yields a lower rather than an upper bound, and derives a valid spanning-tree alternative.
- Sample Complexity & Dependence: Distinguishes whether stages are dependent from whether an audit sample is large enough to certify that dependence, providing matching upper and information-theoretic lower sample-complexity bounds.
- Artifact Identification: Shows that coarse-to-fine label selection can create near-perfect measured correlation without actual learned dependence. Removing this artifact reduces measured correlation from near \(1\) down to \(0–0.78\) across 6 open LLMs and 2 datasets.
- Audit Performance: Direct audits of trajectory failure become \(13.7\%\) tighter than Bonferroni once the audit reaches the required sample size, but perform worse when undersized.
- Distribution Shift Vulnerability: Demonstrates that under cross-dataset deployment, single-step miscoverage can reach \(100\%\) even when raw accuracy remains at \(78\%\), proving that distribution shift destroys calibrated confidence long before impacting raw accuracy.
- 朴素扩展的无效性： 证明了将自然的成对相关扩展应用于三个或更多阶段时，产生的是下界而不是上界，并推导出了一个有效的生成树替代方案。
- 样本复杂度与相关性： 区分了“各阶段是否相关”与“审计样本是否足够大以证明这种相关性”，提供了匹配的上界和信息论下界样本复杂度。
- 人工痕迹识别： 表明粗到细的标签选择可以在没有实际学习到的依赖关系的情况下产生近乎完美的测量相关性。在6个开源大模型和2个数据集上消除这种人工痕迹后，测量相关性从接近 \(1\) 降至 \(0–0.78\)。
- 审计性能： 一旦审计达到所需的样本量，轨迹失败的直接审计会比邦弗朗尼校正紧致 \(13.7\%\)，但在样本量不足时表现更差。
- 分布偏移脆弱性： 证明了在跨数据集部署下，即使原始准确率保持在 \(78\%\)，单步覆盖失效也可能达到 \(100\%\)，这证明了分布偏移在影响原始准确率之前很久就已经破坏了校准置信度。
📊 文档元数据与分类
- Subjects: Cryptography and Security (
cs.CR), Artificial Intelligence (cs.AI)- MSC Classes: 68M25, 68T05, 62G15
- ACM Classes: C.2.0, I.2.6, G.3
- Format: 18 pages, 11 tables (Preprint)
- 学科分类： 密码学与安全 (
cs.CR)，人工智能 (cs.AI) - MSC 分类： 68M25, 68T05, 62G15
- ACM 分类： C.2.0, I.2.6, G.3
- 格式： 18页，11张表（预印本）