文章背景与核心概要

在大语言模型（LLM）的预训练过程中，如何在固定的 Token 预算下确定分配给不同领域的数据的最优比例，是一个关键的设计挑战。从业者通常依赖基于代理模型的方法——在候选数据混合方案上训练较小的模型，拟合响应模型，并利用其指导更大规模的训练。

本文证明了这一成熟的工作流程可以直接映射到经典的混合实验（mixture experiments）中：数据领域充当混合成分，Token 份额代表成分比例，代理训练运行充当实验设计点，而验证损失则定义了概率单纯形上的响应面。通过使用稀疏的二阶谢费（Scheffé）响应面模型和模型稳健的 \(\mathcal{I}\)-最优设计，作者将 LLM 数据混合重新定义为一个实验设计问题，而不仅仅是一个纯粹的预测任务。

这项研究不仅揭示了数据领域价值的关系特性，证明了模型规模的一致性，还通过模拟实验展示了数据高效的代理实验设计方案，为大模型预训练的数据配比优化提供了坚实的统计学理论支撑。

Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining

Authors: Yicheng Mao, Hongru Du
Subjects: Artificial Intelligence (cs.AI); Machine Learning (stat.ML)
arXiv: 2608.23922 [cs.AI]
Submitted: August 24, 2026
License: CC BY 4.0 (License icon: )

Authors: Yicheng Mao, Hongru Du
Subjects: Artificial Intelligence (cs.AI); Machine Learning (stat.ML)
arXiv: 2608.23922 [cs.AI]
Submitted: August 24, 2026
License: CC BY 4.0 (License icon: )

Summary

在大语言模型（LLM）预训练中，如何在固定的 Token 预算下确定分配给不同领域的数据的最优比例，是一个关键的设计挑战。从业者通常依赖基于代理模型的方法——在候选数据混合方案上训练较小的模型，拟合响应模型，并利用其指导更大规模的训练。

In large language model (LLM) pretraining, determining the optimal proportion of data to allocate to different domains given a fixed token budget is a critical design challenge. Practitioners often rely on proxy-based methods—training smaller models on candidate data mixtures, fitting a response model, and leveraging it to guide larger-scale training.

本文证明了这一成熟的工作流程可以直接映射到经典的混合实验： * 数据领域充当混合成分。 * Token 份额代表成分比例。 * 代理训练运行充当实验设计点。 * 验证损失定义了概率单纯形上的响应面。

This paper demonstrates that this established workflow maps directly onto classical mixture experiments: * Data domains act as mixture components. * Token shares represent component proportions. * Proxy-training runs serve as experimental design points. * Validation loss defines a response surface across the probability simplex.

通过使用稀疏的二阶谢费（Scheffé）响应面模型和模型稳健的 \(\mathcal{I}\)-最优设计，作者将 LLM 数据混合重新定义为一个实验设计问题，而不仅仅是一个纯粹的预测任务。

Using sparse second-order Scheffé response-surface models and model-robust \(\mathcal{I}\)-optimal designs, the authors reformulate LLM data mixing as an experimental-design problem rather than purely a prediction task.

Key Contributions & Findings

关系型领域价值： 以 RegMix 作为实证案例研究，谢费分析表明，领域价值具有强烈的主动关系特征。几个在纯累加效应下表现不佳的数据领域，通过成对交互作用变得极具优势——特别是与网络衍生文本结合时。
模型规模一致性： 稀疏的谢费模型有效地保持了不同模型规模下的混合排序。它在与灵活的机器学习预测器保持竞争力的同时，还能同时提供累加效应和交互效应的显式分解。
数据高效的代理实验： 在根据观测到的代理训练响应进行校准的模拟研究中，模型稳健的 \(\mathcal{I}\)-最优设计即使在移除了约 25% 的原始代理运行后，仍成功恢复了正确的混合排序。

Relational Domain Value: Utilizing RegMix as an empirical case study, the Scheffé analysis reveals that domain value is strongly relational. Several data domains that perform poorly under purely additive effects become highly favorable through pairwise interactions—particularly when combined with web-derived text.

Model Scale Consistency: The sparse Scheffé model effectively preserves mixture rankings across varying model scales. It remains competitive against flexible machine-learning predictors while simultaneously offering an explicit decomposition of additive and interaction effects.

Data-Efficient Proxy Experiments: In simulation studies calibrated against observed proxy-training responses, model-robust \(\mathcal{I}\)-optimal designs successfully recovered the correct mixture ordering even after removing approximately 25% of the original proxy runs.