数据受限是多数语言模型预训练的现实：目标语言语料不够，模型只能反复看同一批数据，泛化因此变差。DTU 和 Apple 的研究者系统比较了两种应对手段——激进的超参数调优（例如高 weight decay）与混入高资源辅助语言数据（例如用英语帮助阿拉伯语）。前者的机制是收缩权重、限制网络容量；后者的机制是通过可调混合比例扩展训练分布，让训练信号更多样、补充新知识。

实验中，作者在 150M 到 1.43B 参数的四种模型规模上，以阿拉伯语为低资源目标语言、英语为辅助语言，累计做了约 1000 次预训练运行。三项主要发现：第一，混合数据在验证损失和下游任务准确率上都优于超参数调优，而且优势随模型规模扩大而增大。第二，混合数据的收益可量化：在验证损失上相当于把目标数据中不重复的部分放大 2–3 倍，在下游任务准确率上相当于放大 2–13 倍，并且这个等效增益随模型规模陡增。第三，仅看目标语言上的验证损失会系统性低估混合数据的价值。解释在于，混合数据同时带来了两种效果：通过多样化训练信号进行正则化，以及补充反复使用的目标语料无法提供的新知识；验证损失只能捕捉第一种，所以无法完整反映其对下游任务的作用。

基于这些结果，作者给出的实用建议是：优先混入高资源语言数据；把混合比例当作比超参数调优更重要的调节手段；利用 μP（一种可跨模型规模迁移超参数的参数化方法）从较小的代理模型迁移超参数，而不是直接在大模型上搜索。