跳转至

通过跨难度优化动力学理解大语言模型中的课程学习

文章背景与核心概要

本文深入探讨了大语言模型（LLM）后训练阶段中课程学习（Curriculum Learning）的底层机制。尽管将训练数据按从易到难的顺序排列是一种常见的策略，但其在不同推理任务中的有效性波动巨大，且缺乏通用的最优方案。为了回答课程学习在何时以及为何有效这一核心问题，作者通过跨难度知识迁移的视角分析了优化动力学，并将其形式化为一种名为“相对迁移”（Relative Transfer）的原则性度量指标。

基于这一度量，作者提出了“迁移感知动态课程采样”（Transfer-aware Dynamic Curriculum Sampling, TDCS）策略，该方法能够在训练过程中动态调整采样分布。通过在多个推理基准上的广泛实验，研究证明了 TDCS 在不同任务、模型规模和训练范式下均能持续优于传统的调度方法，从而为课程学习建立了一个统一的、基于优化的理论基础。

摘要

课程学习通过将训练数据从易到难进行组织，已被广泛应用于大语言模型的后训练阶段。然而，其有效性在不同推理任务中差异巨大，这表明不存在单一的通用最优课程，同时也提出了一个根本性问题：是什么决定了课程学习何时有效？

在本文中，我们通过分析不同课程调度所引发的优化动力学来回答这一问题。我们证明了不同难度级别之间的迁移关系刻画了由课程学习引发的优化动力学，进而解释了不同课程调度的有效性，并将这种关系形式化为“相对迁移”（Relative Transfer），这是一种衡量跨难度知识迁移的原则性度量。

基于这一度量，我们推导出了“迁移感知动态课程采样”（TDCS），它根据训练过程中估计的迁移关系动态调整采样分布。在多个推理基准上的广泛实验表明，TDCS 在不同任务、模型规模和训练范式下均持续优于代表性的调度策略。更重要的是，我们的工作通过跨难度迁移，为课程学习提供了一种统一的、基于优化的解释。

Curriculum learning has been widely adopted in the post-training of large language models by organizing training data from easy to hard. However, its effectiveness varies substantially across reasoning tasks, suggesting that no single curriculum is universally optimal and raising a fundamental question: what determines when curriculum learning works?

In this paper, we answer this question by analyzing the optimization dynamics induced by different curriculum schedules. We show that the transfer relationship between different difficulty levels characterizes the optimization dynamics induced by curriculum learning, which in turn explains the effectiveness of different curriculum schedules, and formalize this relationship as Relative Transfer, a principled measure of cross-difficulty knowledge transfer.

Based on this measurement, we derive Transfer-aware Dynamic Curriculum Sampling (TDCS), which dynamically adjusts the sampling distribution according to the estimated transfer relationship throughout training. Extensive experiments on multiple reasoning benchmarks demonstrate that TDCS consistently outperforms representative scheduling strategies across different tasks, model scales, and training paradigms. More importantly, our work provides a unified optimization-based explanation of curriculum learning through cross-difficulty transfer.

链接与资源