跳转至

文章背景与核心概要

在严肃的工业与医疗场景中应用大语言模型 (Large Language Model, LLM) 时，评估模型回答的“不确定性 (Uncertainty Quantification, UQ)”——即判断其当前输出是否值得信赖、是否潜藏幻觉，是构建安全防线的核心前提。然而，现有的不确定性量化方案要么依赖多次重复采样生成（计算成本极其高昂），要么仅观测表层的 Token 输出概率，要么将丰富的多层内部推理状态粗暴压缩为一个向量。为此，研究人员提出了 ActMap 白盒表征方法，巧妙地将跨越所有 Transformer 网络层与生成 Token 的完整内部隐藏状态轨迹，压缩为仅 96 KiB 大小的紧凑时空张量。该方案在模型标准推理中几乎零额外开销，并能借助轻量级 Vision Transformer 在亚毫秒内精准预测回答正确率，性能媲美数据体积大 67 倍的密集激活基线，为大模型的自省、拒答与动态路由提供了兼具极高精度与工程可行性的创新范式。

ActMap：基于生成期激活特征图的单次推理不确定性量化

ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps

核心执行摘要

Executive Summary

对于大语言模型 (Large Language Model, LLM) 而言，实用化的高效不确定性量化 (Uncertainty Quantification, UQ) 核心在于能够准确判断某个具体生成的回答是否值得信赖——而且理想情况下应当仅凭单次生成即可完成。传统的不确定性量化方法要么依赖计算开销巨大的多次采样生成，要么仅仅盯着输出 Token 的表面概率，要么将模型内部丰富的计算过程粗暴压缩为单一的隐藏状态。

Practical uncertainty quantification (UQ) for Large Language Models (LLMs) requires determining whether a specific generated answer can be trusted—ideally from a single generation pass. Traditional UQ methods either rely on computationally expensive multiple generations, look exclusively at output-token probabilities, or collapse a model's rich internal computations into a single hidden state.

本文提出了一种全新的白盒表征方法——ActMap。ActMap 将跨越每一网络层以及每一个生成 Token 的整个生成期隐藏状态轨迹，压缩为一个形状仅为 \(12 \times 32 \times 128\) 的时间统计通道张量。通过捕捉沿 Transformer 深度以及汇聚隐藏坐标上的结构一致性，ActMap 的运行开销几乎为零，单次生成仅需 96 KiB 的微小存储空间，并且可通过轻量级分类器（如 Vision Transformer, ViT）在不足 1 毫秒的时间内完成快速查询判别。

This paper introduces ActMap, a novel white-box representation. ActMap compresses the entire generation-time hidden-state trajectory (spanning every layer and every generated token) into a compact \(12 \times 32 \times 128\) tensor of temporal-statistic channels. Capturing structural consistency across transformer depth and pooled hidden coordinates, ActMap operates with zero measurable overhead, requires only 96 KiB of storage per generation, and can be queried in a fraction of a millisecond by lightweight classifiers like a Vision Transformer (ViT).

核心亮点与研究发现

Key Highlights & Findings

  • 紧凑的白盒表征： 将高维的生成轨迹无损浓缩为固定维度的 \(12 \times 32 \times 128\) 张量（仅 96 KiB），为关键任务生成的持久化存储与安全审计提供了可能。
  • 零额外生成开销： 在标准文本生成过程中直接同步捕获，完全不会拖慢大模型的推理速度。
  • 轻量级探针实现极致性能： 紧凑的 Vision Transformer 或参数量相匹配的多层感知机 (MLP) 能在亚毫秒级别从特征图中解析出正确率概率。遮挡消融分析进一步表明，具有预测价值的关键信号主要驻留在模型的中间层。
  • 对齐并媲美业界领先基准： 在涵盖简答题问答、直接计算数学题以及文本摘要事实性检验等跨三个 7–8B 指令微调模型的多任务评估中，ActMap 全面超越了标准采样法、Token 概率法、注意力权重法和嵌入基线。值得注意的是，它与体积大出 67 倍的密集激活检测器 ACT-ViT 性能旗鼓相当，在 12 组测试对比中有 10 组取得了相当的平均 AUROC 并实现了更低的校准误差。
  • 极具工程实用价值： 提供了一套稳健的置信度评分机制，仅凭单次生成即可有效支撑模型拒答（Abstention）、动态路由以及针对性验证。
  • Compact White-Box Representation: Compresses high-dimensional generation trajectories into a fixed-shape \(12 \times 32 \times 128\) tensor (96 KiB), enabling efficient storage and auditing for critical generations.
  • Zero Overhead Generation: Captured directly during the standard generation pass without slowing down the model.
  • High Performance with Lightweight Probes: A compact Vision Transformer or capacity-matched MLP reads correctness probabilities from the map in sub-millisecond times. Occlusion analysis shows that predictive signals primarily reside in the model's mid-depth layers.
  • State-of-the-Art Baselines Match: Evaluated across short-answer QA, direct-answer math, and summarization factuality tasks using three instruction-tuned 7–8B models. ActMap outperforms standard sampling, token-probability, attention, and embedding baselines. Notably, it matches the performance of ACT-ViT—a detector relying on dense activation tensors \(67\times\) larger—achieving similar mean AUROC and lower calibration error across 10 out of 12 test pairs.
  • Practical Utility: Provides a robust scoring mechanism to facilitate model abstention, routing, and selective verification from a single generation.