自信地出错且悄无声息：对已部署端侧语言模型不可检测故障的审计
文章背景与核心概要
随着端侧语言模型被部署到数以亿计的设备上且缺乏服务器端的实时审核，这些模型的可靠性已成为一个至关重要的议题。本文对一款开发者可访问的端侧基础模型进行了可复现的审计，核心探讨了“用户或开发者能否判断模型何时出错”这一关键问题。
研究揭示了一种“任务非对称错误校准”现象，即模型的护栏机制表现不稳定：在处理虚假前提问题时，模型有 69% 的概率产生幻觉，而对于良性提示词，其拒绝率却高达 18%。最令人担忧的是，模型表现出“表面不可区分”的故障，即模型在自信正确和自信错误时的输出，对于标准分类器而言是无法区分的。研究最后提出了一种模型无关的审计协议和一个黑盒一致性包装器，在无需访问模型内部参数的情况下，显著提升了模型的可靠性。
核心发现 (Key Findings)
-
校准能力差： 该模型表现出饱和且无区分度的自我报告置信度（AUROC 0.47；ECE 70），在同类小型模型中表现最差。 > * Poor Calibration: The model demonstrates saturated and non-discriminative self-reported confidence (AUROC 0.47; ECE 70), ranking as the worst among comparable small models.
-
表面不可区分性： 使用 15 个用户可见特征训练的分类器无法区分正确和错误的输出（AUROC 0.55），这表明在推理阶段不存在可用于监督的可靠信号。 > * Surface Indistinguishability: A classifier trained on 15 user-visible features failed to distinguish between correct and incorrect outputs (AUROC 0.55), indicating that there is no reliable signal for oversight at inference time.
-
单次生成信号的失效： 标记故障的标准方法效果不佳，AUROC 值均 \(\le\)0.68。 > * Failure of Single-Generation Signals: Standard methods for flagging failures are ineffective, yielding an AUROC of \(\le\)0.68.
-
有效的缓解措施： 作者引入了一种无需访问模型内部的黑盒一致性包装器。该方法显著提升了可靠性：
- 自信幻觉（Confident Confabulation）： 从 75% 降低至 3%。
- 选择性准确率（Selective Accuracy）： 从 43% 提升至 83%。
- Effective Mitigation: The authors introduce a black-box consistency wrapper that requires no model access. This approach improves reliability significantly:
- Confident Confabulation: Reduced from 75% to 3%.
- Selective Accuracy: Increased from 43% to 83%.
- Effective Mitigation: The authors introduce a black-box consistency wrapper that requires no model access. This approach improves reliability significantly:
研究贡献 (Research Contributions)
作者为研究社区提供了以下资源： 1. 模型无关的审计协议： 一个用于评估已部署端侧模型可靠性的框架。 2. 表面不可区分性测试： 一种用于确定模型故障是否可以通过表面特征检测的方法论。 3. 可复用基础设施： 发布了代码和固定的评估项，以促进对已部署语言模型的持续审计。
The authors provide the following resources to the research community: 1. Model-Agnostic Audit Protocol: A framework for evaluating the reliability of deployed on-device models. 2. Surface-Indistinguishability Test: A methodology to determine if model failures can be detected via surface-level features. 3. Reusable Infrastructure: Released code and frozen evaluation items to facilitate ongoing auditing of deployed language models.