跳转至

文章背景与核心概要

随着人工智能实验室逐渐逼近数据上限——即计算能力的发展速度远超高质量文本的生成速度——语言模型预训练正转向数据受限、算力充沛（data-constrained, compute-abundant）的阶段。在这种环境下，研究人员需要在固定的文本语料库上进行多轮（multi-epoch）的高效训练。然而，标准的自回归（AR）预训练在此背景下会遭受严重的过拟合问题，表现为模型过早达到性能最优解后开始持续退化。

为了应对这一挑战，本文深入研究了训练时数据 augmentation（数据增强）作为正则化手段的应用，使模型能够在相同数据上进行数百个周期的有效训练而不会发生过拟合。作者系统性地评估了三种正交的增强类别（词元级噪声、序列排列、目标偏移预测），实验表明这些方法不仅能有效延缓过拟合、降低验证损失，还能组合使用以进一步突破性能瓶颈，为解决数据受限情况下的效率难题提供了可行的解决方案。

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

Authors: Michael K. Chen, Xikun Zhang, Fan Bai, Zhengding Hu, Zhen Wang
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
arXiv: 2606.16246 [cs.LG] | DOI: 10.48550/arXiv.2606.16246
Submission History: Submitted on 15 June 2026; Last revised on 18 August 2026 (v3).
Resources: GitHub Repository

Summary

随着人工智能实验室接近数据上限（此时算力远远超过高质量新文本的生成速度），语言模型预训练正转向数据受限、算力充沛（data-constrained, compute-abundant regime）的阶段。这种环境要求在固定的文本语料库上进行富有成效的多轮（multi-epoch）训练。

As artificial intelligence laboratories approach a data ceiling—where compute capacity vastly outpaces the generation rate of new high-quality text—language model pretraining is shifting toward a data-constrained, compute-abundant regime. This environment requires productive multi-epoch training on fixed text corpora.

标准自回归（AR）预训练在此背景下面临严重的过拟合问题，其性能最优解出现得很早，随后便持续恶化。为了应对这一挑战，本文探讨了将训练时数据增强（training-time data augmentation）作为正则化手段的应用，使得模型能够在相同数据上进行数百个周期的有效训练且不发生过拟合。

Standard autoregressive (AR) pretraining suffers from severe overfitting in this context, reaching its performance optimum early and then continuously deteriorating. To combat this, the paper investigates training-time data augmentation as a regularizer, enabling productive training for hundreds of epochs on the same data without overfitting.

Key Contributions & Augmentation Categories

作者引入并系统性地消融了专为AR预训练设计的三种正交类别的数据增强：

The authors introduce and systematically ablate three orthogonal categories of augmentation designed specifically for AR pretraining:

  1. 词元级噪声（Token-Level Noise）：
  2. 掩码（Masking）
  3. 随机替换（在各项单一方法中取得了最低的验证损失）
  4. 序列排列（Sequence Permutations）：
  5. 从右到左预测（Right-to-left prediction）
  6. 中间填充（Fill-in-the-Middle, FIM）
  7. 目标偏移预测（Target Offset Prediction）：
  8. 预测 \(i > 1\) 时的目标词元 \(x_{t+i}\)
  1. Token-Level Noise:
  2. Masking
  3. Random replacement (achieved the best minimum validation loss among individual methods)
  4. Sequence Permutations:
  5. Right-to-left prediction
  6. Fill-in-the-Middle (FIM)
  7. Target Offset Prediction:
  8. Predicting tokens at \(x_{t+i}\) for \(i > 1\)

发现（Findings）

  • 相比于标准基线，单一数据增强能够成功延迟过拟合并降低验证损失。
  • 组合多种增强类别可以带来更低的最低验证损失。
  • 训练时增强有效地缓解了标准自回归预训练固有的数据低效性，为数据受限的场景提供了一个可行的解决方案。

Findings

  • Individual data augmentations successfully delay overfitting and lower validation loss relative to standard baselines.
  • Combining multiple augmentation categories yields even lower minimum validation loss.
  • Training-time augmentations effectively mitigate the data inefficiency inherent to standard autoregressive pretraining, presenting a viable solution for data-constrained regimes.

Access & Full-Text Links

Access & Full-Text Links