跳转至

重复不匹配：为什么数据配比实验无法扩展以及如何解决它们

文章背景与核心概要

在大语言模型的预训练数据配比调优中，研究人员通常依赖小规模的代理实验，并将结果外推至目标训练预算。然而，当面对必须重复使用的高质量有限数据时，这种外推经常失效。本文指出了这一失效的主要原因——“重复不匹配”（repetition mismatch）：由于高质量数据集本身规模较小，随着训练预算的增长，其重复率会动态变化，这种变化改变了最优数据配比，而小规模实验无法预见这一点。

为了解决这一问题，作者引入了一种简单的子采样程序，以匹配目标的重复率。对于结合了有限高质量数据与网络爬虫数据的 1.17B 参数模型，单次控制重复率的实验仅需目标 Token 数的 1/16，就能在 WikiText 上恢复出与最优值相差在 0.10 以内的配比（而无控制时的误差高达 0.85）。该研究表明，决定小规模配比实验能否泛化的是数据重复动态而非单纯的规模，这意味着在配比优化中应将数据重复率视为一类核心变量。

摘要

当调优大型语言模型的预训练数据配比时，研究人员通常依赖小规模的代理实验，并将结果外推至目标训练预算。然而，当处理必须重复使用的高质量有限数据时，这种外推往往会失效。

When tuning pre-training data mixtures for large language models, researchers often rely on small-scale proxy experiments and extrapolate the results to the target training budget. However, when working with limited high-quality data that must be repeated, this extrapolation frequently fails.

本文将导致这一失效的主要原因确定为重复不匹配（repetition mismatch）：由于高质量数据集本质上较小，它们的重复率会随着训练预算的增长而动态变化。这会以小规模实验无法预料的方式改变最优数据配比。

This paper identifies the primary cause of this failure as repetition mismatch: because high-quality datasets are inherently small, their repetition rate changes dynamically as the training budget grows. This shifts the optimal data mixture in ways that small-scale experiments fail to anticipate.

为了解决这个问题，作者引入了一种简单的子采样程序，该程序能够匹配目标的重复率。对于一个将有限的高质量数据与网络爬取数据结合起来的 1.17B 参数模型： * 仅使用目标 Token 的 1/16 的单次重复控制实验，就能在 WikiText 上恢复出一个与最优值相差在 0.10 以内的 数据配比（而无控制时的误差为 0.85）。 * 在没有重复控制的情况下实现等效的准确率需要多个训练跨度，在两个、三个和四个训练跨度中分别消耗了目标 Token 预算的 19%、44% 和 94%。 * 即使有三个数据源，在 757M 规模下，仅仅两个受重复控制的训练跨度也能成功恢复出最优配比。

To solve this, the authors introduce a simple subsampling procedure that matches the target repetition rate. For a 1.17B parameter model combining limited high-quality data with web crawls: * A single repetition-controlled experiment using just 1/16th of the target tokens recovers a data mixture within 0.10 of the optimum on WikiText (compared to an error of 0.85 without control). * Achieving equivalent accuracy without repetition control requires multiple training horizons, consuming 19%, 44%, and 94% of the target token budget across two, three, and four horizons respectively. * Even with three data sources, just two repetition-controlled horizons successfully recover the optimal mixture at the 757M scale.

最终，这些发现表明，重复动态——而不是单纯的规模——决定了小规模配比实验是否能够泛化，这表明在配比优化中应将数据重复视为一类核心变量。

Ultimately, the findings demonstrate that repetition dynamics—rather than scale alone—dictate whether small-scale mixture experiments generalize, suggesting that data repetition should be treated as a first-class variable in mixture optimization.

元数据与参考信息

链接与资源