Scaling Law拟合中的盆地估计与不确定性降低：用10%预算实现更好外推

这才是适应当前竞争环境的有效路径。

这一思路与Chinchilla从Kaplan Scaling Law中迭代出计算最优分配有相似逻辑，只不过这次优化对象是拟合过程自身。传统“先烧钱跑Pilot再规划大模型”的惯例，正面临直接挑战。数据支持主动选择能在1%至10%预算区间内进入低损失区域，但样本覆盖的多样基准显示，效果在不同任务上仍有波动，值得持续观察实际落地表现。

这个思路类似主动学习在标注成本高时的样本选择策略。你不是盲目多跑实验，而是聪明地挑选最有价值的那些，让每一美元预算都精准服务于大模型外推的准确性。不是少跑实验，而是让每一次实验都击中要害。

传统认知中，可靠的外推Scaling Law需要均匀覆盖不同规模的pilot实验，许多团队因此在正式训练前就已烧掉不菲预算。主流做法多依赖随机采样或经典实验设计基线，这些方法在预算充裕时表现尚可，却难以应对实验成本的显著异构性。低成本小规模run容易主导采样，而真正决定百万级训练成败的高成本目标区域，却常被边缘化，导致外推偏差明显。

这一方法的反直觉价值在于，它不是简单“砍预算”，而是让有限资源流向真正影响决策的实验。在高预算团队看来，它提供更精细的分配策略；对中小团队，则显著降低了 Scaling Law 预研门槛。但盆估计准确性、实际成本建模精度等因素仍会影响效果，数据支持这个方向，但样本量和场景多样性有限，值得持续跟踪，现在下结论为时尚早。

这篇论文的作者团队把问题看得更透。他们将Scaling Law拟合定义为一个预算受限的序贯实验设计任务：给定候选实验池，每个实验有不同计算成本，目标是在有限预算下，最大化高成本目标区域的预测准确性。核心是不确定性感知的预算分配策略，把参数后验近似为多个“盆地”的混合高斯分布，这些盆地代表不同的局部最优和外推行为。

从行业观察来看，大模型时代的成本压力已让单纯堆算力探索超参数变得不现实。学习率如何随批大小缩放、固定计算预算下的最优批大小路径，这些问题若每次都靠全量验证，预算很快见底。这项工作切中痛点：它不是简单压缩实验数量，而是通过更智能的选择，让每一分预算都产生最大外推价值。值得持续跟踪的是，在更复杂的工业噪声场景下，该方法的鲁棒性究竟如何。

具体而言，方法通过分解目标区域的均方预测误差（MSPE），将不确定性拆分为盆地间差异和盆地内方差两部分。早期阶段侧重减少不同参数盆地间的分歧，后期则聚焦缩小单个盆地内的预测变异。这样，每单位预算都能更精准地服务于最终的外推需求。在学习率与批大小、领域混合比例、Mixture-of-Experts等多样任务上，该策略持续优于随机、贪婪最便宜以及D-opt、V-opt等经典基线，常在10%预算下达到接近全集的R²水平。

最近一篇arXiv论文（2604.22753）再次把目光拉回大模型训练中最烧钱却又最基础的环节：Scaling Law的拟合。传统思路下，实验室为了可靠外推，往往需要跑大量pilot实验，成本轻易就攀升到百万美元级别。这篇工作却实证了一个反直觉的结果——通过预算感知的主动实验选择，仅用约10%的总训练预算，就能让外推精度逼近使用全实验集的效果。

非线性Scaling Law中，多盆地现象相当普遍。从不同参数初始化出发，拟合可能收敛到多个局部最优参数集，这些“盆地”在低成本观测区表现相似，却在外推到百万美元级目标区域时产生显著分歧。这就是弱可识别方向的体现：数据无法清晰区分哪个盆地才是真正指导大规模训练的那个，外推误差因此居高不下。

在词汇量scaling law的实证中，这一方法展现出显著优势。它先快速化解外推趋势的模糊地带，再细化局部关系，最终支持更高效的tokenization优化和N V D联合关系拟合。论文在多个基准任务上验证，跨65个scaling实例，仅用10%左右预算时，性能已接近全实验集，有些场景下5%预算就让R²达到较高水平。

这一点，目前行业内仍有不同声音。