跳转至

Ask-E：用于校准问题生成的环境

文章背景与核心概要

Ask-E 是一项旨在提升 AI 模型能力的新型基准测试与训练环境。与传统模型训练侧重于“回答问题”不同，Ask-E 聚焦于“生成问题”。研究人员指出，要创建处于模型能力边界的问题，本身就需要模型具备超越当前水平的认知能力。

该研究的核心创新在于定义了一种“校准”机制：通过两个现有语言模型的能力范围来界定目标难度区间。如果一个生成的问题恰好能被其中一个模型解决，而不能被另一个解决，则该问题被视为“成功校准”。实验表明，即使是前沿模型在该基准上的校准率也低于 50%。此外，在 Ask-E 环境中进行训练，无需外部数学数据或更强模型的辅助，即可直接提升模型在下游数学任务中的表现。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2608.06933 [cs.CL]
  • 学科分类: 计算与语言 (cs.CL)；人工智能 (cs.AI)
  • 提交日期: 2026年8月7日
  • 作者:
  • Sarah Pratt
  • Jae Sung Park
  • Scott Geng
  • Ali Farhadi
  • arXiv ID: arXiv:2608.06933 [cs.CL]
  • Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
  • Submitted: August 7, 2026
  • Authors:
  • Sarah Pratt
  • Jae Sung Park
  • Scott Geng
  • Ali Farhadi

摘要 (Abstract)

如今，我们通过在模型能力边界的问题上进行训练和评估来提升模型性能。创建此类问题本身就是一项艰巨的任务，需要具备探测模型极限并超越现有问题分布进行泛化的能力。这也意味着需要将问题置于精确的难度水平上，这要求对解决这些问题所需的条件有深刻的理解。

简而言之，生成与模型当前能力边界相校准的问题，需要模型具备超越该边界的能力，随着模型性能的提升，这一约束变得愈发沉重。我们的核心洞察在于，可以利用这一约束为我们所用：一个能够持续生成与给定边界相校准问题的模型，必然具备超越该边界的能力。

因此，我们提出了 Ask-E，这是一个基准测试和训练环境，旨在评估和训练模型编写特定技能水平问题的能力，而非回答问题的能力。具体而言，我们将目标技能水平定义为由两个现有语言模型的能力所界定的范围。如果一个生成的问题恰好能被这两个模型中的一个解决，则该问题被视为成功校准，这使其精确地处于目标范围内，并区分了这两个模型的能力。

Ask-E 既是一个基准测试环境，也是一个训练环境，模型可以在其中生成针对各种技能水平进行校准的问题。我们发现： 1. 即使是前沿模型在这一基准测试上的校准率也低于 50%，为衡量未来的进展留下了巨大的空间。 2. 在该环境中进行训练，即使没有新的数学数据、没有与更强模型的交互，也没有基于正确性的奖励，也能在多个下游数学基准测试中实现性能提升。

Today, we improve models by training and evaluating them on problems at the frontier of their abilities. Creating such problems is itself a demanding task, requiring the ability to probe model limits and generalize beyond existing question distributions. It also means placing problems at a precise difficulty level, which requires understanding what it takes to solve them.

In short, generating problems calibrated to a model's current frontier demands capability beyond it, an increasingly burdensome constraint as models improve. Our key insight is that we can leverage this constraint to our advantage: a model that can generate problems consistently calibrated to a given frontier must possess capability beyond it.

Accordingly, we present Ask-E, an environment that benchmarks and trains models on their ability to write questions at a given skill level, rather than answer them. Concretely, we define target skill levels as ranges bounded by the capabilities of two existing language models. A generated question is successfully calibrated if exactly one of the two models can solve it, placing it precisely within the target range and differentiating the capabilities of these models.

Ask-E serves both as a benchmark and a training environment, where models generate problems calibrated to a variety of skill levels. We find that: 1. Even frontier models achieve below 50% calibration on the benchmark, leaving significant headroom to measure future progress. 2. Training on this environment leads to improvements across a number of downstream math benchmarks even with no new math data, no interaction with stronger models, and no correctness-based reward.

访问与资源 (Access & Resources)