跳转至

文章背景与核心概要

大型语言模型（LLM）正日益被应用于科学决策场景，例如长尾生物多样性监测流水线。然而，在黑盒LLM设置下估计可靠的置信度水平仍然是一个重大难题。

本文针对黑盒LLM生成的分类推理（taxonomic reasoning），引入了一种层级感知监督不确定性估计（hierarchy-aware supervised uncertainty estimation）方法。通过利用开源工具大模型提取的代理特征（proxy features），作者训练了包含层级感知监督的轻量级监督估计器，以预测各个分类层级（rank-wise）的正确性。

核心发现：

  • 性能提升： 在三个工具大模型上，监督估计器在微观判别（micro discrimination）以及单一全局拒绝阈值下的选择性预测（selective prediction）方面，均持续优于标准的词元似然（token-likelihood）基线。
  • 指标改善： 该方法将微观 AUROC 从 0.57 提升至 0.75–0.80。
  • 最佳架构： 通过层级特定的多头设计（H3）获得了最佳性能结果，这表明在需要统一弃权规则时，对层级输出结构进行建模至关重要。

层次感知监督不确定性估计用于黑盒LLM分类推理 (Hierarchy-Aware Supervised Uncertainty Estimation for Black-box LLM Taxonomic Reasoning)

Authors: Shuting Xie, Nathaniel Lesperance, Graham W. Taylor
Primary Subject: Machine Learning (cs.LG)
Secondary Subject: Artificial Intelligence (cs.AI)
Submitted: August 24, 2026
arXiv Identifier: arXiv:2608.22839 [cs.LG]

📋 摘要 (Summary)

Large Language Models (LLMs) are increasingly applied to scientific decision-making, such as long-tailed biodiversity monitoring pipelines. However, estimating reliable confidence levels in black-box LLM settings remains a significant hurdle.

大型语言模型（LLM）正日益被应用于科学决策中，例如长尾生物多样性监测流水线。然而，在黑盒LLM设置下估计可靠的置信度水平仍然是一个重大的障碍。

This paper introduces a hierarchy-aware supervised uncertainty estimation approach tailored for taxonomic reasoning generated by black-box LLMs. By leveraging proxy features extracted through an open-source tool LLM, the authors train lightweight supervised estimators incorporating hierarchy-aware supervision to predict rank-wise correctness.

本文引入了一种层级感知监督不确定性估计方法，专门用于黑盒LLM生成的分类推理。通过利用通过开源工具LLM提取的代理特征，作者训练了结合层级感知监督的轻量级监督估计器，以预测各个分类层级的正确性。

Key Findings:

  • Performance Boost: Across three tool LLMs, the supervised estimators consistently outperform standard token-likelihood baselines for micro discrimination and selective prediction under a single global rejection threshold.
  • Metric Improvements: The method improves micro AUROC from 0.57 up to 0.75–0.80.
  • Best Architecture: The highest-performing results are achieved via a rank-specific multi-head design (H3), demonstrating that modeling hierarchical output structures is crucial when a unified abstention rule is required.

关键发现：

  • 性能提升： 在三个工具LLM中，监督估计器在微观判别和单一全局拒绝阈值下的选择性预测方面，始终优于标准的词元似然基线。
  • 指标改善： 该方法将微观 AUROC 从 0.57 提升至 0.75–0.80。
  • 最佳架构： 通过特定层级的多头设计（H3）实现了最高性能的结果，这证明了在需要统一弃权规则时，对层级输出结构进行建模至关重要。

📚 参考文献与引用工具 (References & Citation Tools)