跳转至

文章背景与核心概要

随着人工智能向更加复杂的多模态任务演进，聚合多个视觉语言模型（VLM）已成为提升推理性能的重要手段。然而，传统的个体模型置信度度量或多数投票聚合方法往往无法准确反映系统级的可靠性。本文介绍了一种名为 CUSP（通过语义池化的集体不确定性，Collective Uncertainty through Semantic Pooling）的免训练不确定性量化框架，专为多智能体和多 VLM 集成系统设计。

CUSP 将多样化的 VLM 输出映射到共享的语义响应空间中，并将其组合为统一的池化观点。该方法既不需要模型的 Token Logits，也不依赖校准标签，能够无缝适用于开源和商业 VLM。实证结果表明，CUSP 产生的集体不确定性和詹森-香农散度（JSD）能够极大地预测系统错误、优化模型弃权决策，并在复杂的多步骤智能体轨迹中成功对子智能体失效进行排序。

CUSP: Decomposable Collective Uncertainty for Multi-Agent Multimodal Reasoning

Authors: Chung-En Johnny Yu, David Garcia, Brian Jalaian, Nathaniel D. Bastian
Submitted: September 4, 2026
Primary Subject: Artificial Intelligence (cs.AI)
arXiv ID: 2609.05708

摘要

聚合多个视觉语言模型（VLM）可以显著提升多模态推理性能，然而标准的个体模型置信度度量或多数投票聚合方法往往无法准确反映系统级的可靠性。

本文引入了 CUSP（Collective Uncertainty through Semantic Pooling，通过语义池化的集体不确定性），这是一个专为多智能体和多 VLM 集成系统设计的免训练不确定性量化框架。CUSP 将多样化的 VLM 输出映射到共享的语义响应空间中，并将其组合为统一的池化观点。随后，它会产生两个强有力的系统级信号： 1. 集体不确定性（Collective Uncertainty）： 池化观点的整体离散度。 2. 詹森-香农散度（Jensen-Shannon Divergence, JSD）： 衡量个体模型层面观点之间冲突程度的指标。

CUSP 既不需要 Token Logits，也不需要校准标签，能够在开源和商业 VLM 之间无缝工作。实证结果表明，集体不确定性和 JSD 能够强有力地预测系统错误、优化模型弃权，并在复杂的多步骤智能体轨迹中成功对子智能体的失效进行排序。

Aggregating multiple vision-language models (VLMs) can significantly boost multimodal reasoning performance, yet standard measures of individual model confidence or majority-vote aggregation often fail to accurately reflect system-level reliability.

This paper introduces CUSP (Collective Uncertainty through Semantic Pooling), a training-free uncertainty quantification framework designed for multi-agent and multi-VLM ensembles. CUSP maps diverse VLM outputs into a shared semantic response space and combines them into a unified pooled opinion. It then yields two robust system-level signals: 1. Collective Uncertainty: The overall dispersion of the pooled opinion. 2. Jensen-Shannon Divergence (JSD): The measure of conflict among the individual model-level opinions.

Requiring neither token logits nor calibration labels, CUSP works seamlessly across both open-weight and commercial VLMs. Empirical results show that collective uncertainty and JSD powerfully predict system errors, optimize model abstention, and successfully rank subagent failures in complex, multi-step agent trajectories.

核心亮点与性能

  • 严谨的数学分解： CUSP 在数学上将总系统离散度分解为个体语义熵的均值与模型层面的冲突（JSD）。
  • 静态多 VLM 集成：
  • 在小模型架构下，集体不确定性 在预测错误检测上达到了 0.764 的 AUROC，在模型弃权上达到了 0.889 的 AUARC，比标准基线（多数投票、朴素选择）高出 4.7 到 15.8 个百分点。
  • 在商业模型架构下，JSD 表现优异，达到了 0.819 的 AUROC 和 0.910 的 AUARC，同时对困难答案的模型冲突排序准确率高达 0.982 的 AUROC。
  • 池化预测将准确率较单模型平均水平提升了 5.6 到 13.0 个百分点。
  • 多步骤、多智能体轨迹： 子智能体的集体不确定性成功实现了超越随机水平的系统失效排序（0.619 AUROC），并在复杂的任务工作流中提供了最优的弃权排序（0.699 AUARC）。

Key Highlights & Performance

  • Rigorous Mathematical Decomposition: CUSP mathematically separates total system dispersion into the mean of individual semantic entropies and model-level conflict (JSD).
  • Static Multi-VLM Ensembles:
  • In small-model regimes, collective uncertainty achieves 0.764 AUROC for prediction-error detection and 0.889 AUARC for abstention, outperforming standard baselines (majority voting, naive selection) by 4.7 to 15.8 points.
  • In commercial-model regimes, JSD excels at 0.819 AUROC and 0.910 AUARC, while ranking hard-answer model conflict with up to 0.982 AUROC.
  • Pooled predictions improve accuracy over single-model averages by 5.6 to 13.0 points.
  • Multi-Step, Multi-Agent Trajectories: Subagent collective uncertainty successfully ranks system failures above chance (0.619 AUROC) and delivers optimal abstention ordering (0.699 AUARC) across complex task workflows.

链接与资源