跳转至

针对未见问题的LLM评估：上下文多维项目反应理论模型

文章背景与核心概要

随着大语言模型（LLM）的快速迭代，如何在不进行大规模新测试的情况下，预测模型在全新任务或问题上的表现已成为评估领域的核心挑战。传统的评估方法往往依赖于回顾性的平均得分，这容易混淆模型能力与题目特征，导致评估结果缺乏泛化性。

本文提出了一种基于模型评估的框架，将多维项目反应理论（MIRT）与问题上下文信息相结合，旨在实现对未见问题的性能预测。该框架通过潜在能力剖面来表征LLM，并利用问题内容来刻画题目特征，从而实现了跨题目的信息迁移。

研究结果表明，该方法在场景内评估中表现优异，且多维建模比单维模型能更丰富地描述能力差异。然而，研究也揭示了该框架在跨场景迁移时面临的泛化瓶颈，这为心理测量学在LLM评估中的应用指明了方向，同时也提出了亟待解决的挑战。

📑 论文概览

摘要

评估大语言模型（LLM）日益需要预测模型在面对新问题或新任务时的表现，而无需收集大量新的标注数据。这一问题极具挑战性，因为问题的难度、场景以及潜在的能力需求可能会有显著差异。简单的回顾性平均值可能会将模型能力与题目特征混淆。

Evaluating large language models (LLMs) increasingly requires predicting how a model will perform on new questions or tasks before collecting large amounts of new annotations. This problem is challenging because question difficulty, scenario, and underlying capability demands can vary substantially. Simple retrospective averages may confound model ability with item characteristics.

在本文中，我们研究了一种基于模型的评估框架，该框架结合了多维项目反应理论模型与问题上下文，以预测LLM在未见问题上的表现。该框架通过潜在能力剖面来表征LLM，同时利用问题内容来提供题目特征信息，从而允许信息超越先前观察到的题目进行迁移。

In this paper, we study a model-based evaluation framework that combines multidimensional item response theory model with question contexts to predict LLM performance on unseen questions. The framework represents LLMs through latent capability profiles while using question content to inform item characteristics, allowing information to transfer beyond previously observed items.

实证研究发现： * 场景内评估： 与无模型基线相比，结合问题嵌入（question embeddings）能显著提高预测准确性。 * 多维建模： 相比于单维替代方案，潜在结构能更丰富地描述能力的变化。 * 泛化局限： 泛化能力并不一定能转化为跨场景转换下的可靠预测。

Empirically, we find that: * Within-scenario evaluation: Incorporating question embeddings improves prediction relative to model-free baselines. * Multidimensional modeling: Latent structures provide a richer description of capability variation than unidimensional alternatives. * Generalization limits: Generalizability does not necessarily translate into reliable prediction under cross-scenario shifts.

这些发现表明，上下文感知的心理测量建模是实现高效且可解释的LLM评估的有前途的方向，同时也强调了跨场景泛化是一个核心的开放性挑战。

These findings suggest that context-aware psychometric modeling is a promising direction for efficient and interpretable LLM evaluation, while also highlighting cross-scenario generalization as a central open challenge.

🔗 访问与资源