文章背景与核心概要

随着前沿大语言模型（LLM）的频繁更新，虽然其整体性能得到了提升，但这些宏观的总体增益往往掩盖了样本级性能退化（Sample-level regressions）——即旧版本模型能正确回答的提示词，在更新后的新模型中反而变为了错误。

本文探讨了如何在推理阶段通过对比两类信号来预测此类性能退化：一是单模型信号（如置信度、Logit 边界和注意力熵），二是跨版本信号（如输出 KL 散度、似然漂移、词元级 KL 以及表示漂移）。研究发现，虽然单模型置信度在多项选择题（MCQ）和较简单的数学任务中表现最佳，而似然/KL 散度信号在较难的数学和代码生成基准测试中表现更优，但没有任何单一信号能够在所有模型更新对中保持普遍最优。尽管如此，某些跨版本信号在置信度失效时依然极具参考价值（且无需真实标签），这为构建概念验证的选择性回退机制（将高风险查询路由回旧版模型）奠定了基础。

No Universal Signal Predicts Sample-Level LLM Regression under Version Updates

• Authors: Jia Sheng, Yiwei Lu
• Published: August 11, 2026
• Primary Subject: Artificial Intelligence (cs.AI)
• Secondary Subjects: Computation and Language (cs.CL), Machine Learning (cs.LG)
• arXiv ID: 2608.13607
• Links: View PDF | HTML Version | GitHub Repository

摘要总结

尽管前沿大语言模型（LLM）经常经历旨在提升总体性能的更新，但这些整体收益掩盖了样本级性能退化——即在旧模型版本中能被正确回答的提示词，在换用新模型版本后变得不正确。

本文通过比较两类信号，研究了如何在推理阶段预测此类退化： 1. 单模型信号： 置信度、Logit 边界（logit margin）和注意力熵。 2. 跨版本信号： 输出 KL 散度、似然漂移、词元级 KL 和表示漂移。

核心发现

• 任务依赖的有效性： 置信度在多项选择问答（MCQ）和较简单的数学任务中效果最好，而似然/KL 散度信号在较难的数学和代码生成基准测试中表现卓越。
• 缺乏通用优越性： 在所有的模型更新对中，没有任何单一信号能够保持普遍最优。
• 具有韧性的跨版本信号： 某些跨版本信号即使在置信度失效时仍然具有信息量（且无需真实标签）。这使得实现概念验证的选择性回退机制成为可能，从而将高风险查询路由回旧模型的版本。

Abstract Summary

While frontier Large Language Models (LLMs) frequently undergo updates that improve aggregate performance, these overall gains obscure sample-level regressions—instances where a prompt that was answered correctly by an older model version becomes incorrect under the new model.

This paper investigates how to predict such regressions at inference time by comparing two categories of signals: 1. Single-model signals: Confidence, logit margin, and attention entropy. 2. Cross-version signals: Output KL divergence, likelihood drift, token-level KL, and representation drift.

Key Findings

• Task-Dependent Effectiveness: Confidence works best on multiple-choice question answering (MCQ) and simpler math tasks, whereas likelihood/KL divergence signals excel on harder math and code generation benchmarks.
• Lack of Universal Superiority: No single signal remains universally optimal across all model update pairs.
• Resilient Cross-Version Signals: Certain cross-version signals remain informative even when confidence fails (operating without ground-truth labels). This enables a proof-of-concept selective fallback mechanism to route high-risk queries back to legacy model versions.