跳转至

在线推理校准：测试时训练赋能可泛化的共形大模型推理

文章背景与核心概要

随着大语言模型（LLM）在复杂任务中表现出强大的推理能力，测试时扩展（Test-time scaling）已成为提升模型性能的关键手段。然而，这种扩展往往伴随着巨大的计算成本，其核心原因在于模型后训练阶段的校准偏差以及主流采样方法缺乏有效的校准机制。

本文提出的“在线推理校准”（Online Reasoning Calibration, ORCA）框架，巧妙地结合了共形预测（Conformal Prediction）与测试时训练（Test-time Training）技术。通过引入一种针对每个输入进行动态更新的元学习程序，ORCA 能够确保模型在面对分布偏移（如推理阶段的思维模式变化或部署环境的提示词分布差异）时，依然提供可靠的置信度估计。

该研究不仅在理论上为共形风险提供了保障，还在实验中展现了显著的效率提升。在 Qwen2.5-32B 模型上，ORCA 在保持低错误率的同时，实现了高达 47.5% 的计算资源节省，并在零样本跨域任务中表现出极强的泛化能力，为解决大模型推理的计算效率瓶颈提供了新的范式。

摘要

尽管测试时扩展使大语言模型能够解决极具挑战性的任务，但最先进的结果往往伴随着高昂的计算成本。这些低效现象可归因于后训练语言模型的校准偏差，以及流行采样技术中缺乏校准机制。在此，我们提出了在线推理校准（ORCA），这是一个利用共形预测和测试时训练来校准采样过程的框架。具体而言，我们引入了一种元学习程序，为每个输入更新校准模块。这使我们能够在分布偏移下（例如，推理不同阶段出现的思维模式变化，或模型开发与部署之间的提示词分布差异）提供有效的置信度估计。ORCA 不仅为共形风险提供了理论保证，而且在经验上显示出在不同推理任务中更高的效率和泛化能力。在风险水平 \(\delta=0.1\) 时，ORCA 在分布内任务上提升了 Qwen2.5-32B 的效率，使用监督标签可节省高达 47.5% 的计算量，使用自洽性标签可节省 40.7%。在零样本跨域设置下，它将 MATH-500 的计算节省从静态校准基线的 24.8% 提高到了 67.0%，同时保持了较低的经验错误率，且这一趋势在不同模型系列和下游基准测试中均保持一致。

While test-time scaling has enabled large language models to solve highly difficult tasks, state-of-the-art results come at exorbitant compute costs. These inefficiencies can be attributed to the miscalibration of post-trained language models, and the lack of calibration in popular sampling techniques. Here, we present Online Reasoning Calibration (ORCA), a framework for calibrating the sampling process that draws upon conformal prediction and test-time training. Specifically, we introduce a meta-learning procedure that updates the calibration module for each input. This allows us to provide valid confidence estimates under distributional shift, e.g. in thought patterns that occur across different stages of reasoning, or in prompt distributions between model development and deployment. ORCA not only provides theoretical guarantees on conformal risks, but also empirically shows higher efficiency and generalization across different reasoning tasks. At risk level \(\delta=0.1\), ORCA improves Qwen2.5-32B efficiency on in-distribution tasks with savings up to 47.5% with supervised labels and 40.7% with self-consistency labels. Under zero-shot out-of-domain settings, it improves MATH-500 savings from 24.8% of the static calibration baseline to 67.0% while maintaining a low empirical error rate, and the same trend holds across model families and downstream benchmarks.

文档元数据

  • arXiv ID: arXiv:2604.01170 [cs.LG]
  • 主要学科: 机器学习 (cs.LG)
  • 其他学科: 人工智能 (cs.AI), 计算与语言 (cs.CL), 应用统计学 (stat.AP), 机器学习 (stat.ML)
  • 会议发表: 作为会议论文发表于 COLM 2026 (22页)
  • 作者: Cai Zhou, Zekai Wang, Menghua Wu, Qianyu Julie Zhu, Flora C. Shi, Chenyu Wang, Ashia Wilson, Tommi Jaakkola, Stephen Bates
  • arXiv ID: arXiv:2604.01170 [cs.LG]
  • Primary Subject: Machine Learning (cs.LG)
  • Other Subjects: Artificial Intelligence (cs.AI), Computation and Language (cs.CL), Applications (stat.AP), Machine Learning (stat.ML)
  • Conference Publication: Published as a conference paper at COLM 2026 (22 pages)
  • Authors: Cai Zhou, Zekai Wang, Menghua Wu, Qianyu Julie Zhu, Flora C. Shi, Chenyu Wang, Ashia Wilson, Tommi Jaakkola, Stephen Bates

资源与链接