机器学习实验设计新突破：主动实验选择如何帮你用10%预算拟合更好Scaling Law

这既反映了从业者的焦虑，也折射出行业的成熟度。

在构建的多样化基准上（涵盖8个任务、65个Scaling Law实例），该方法用约10%的总预算即可接近全实验集的外推性能，显著优于随机、贪婪或经典最优设计基线。短期内，这为大模型团队的pilot迭代提供了实用路径，能更快锁定可靠趋势，减少无效支出。长期看，它可能推动行业从“堆实验”转向“智能选实验”，重塑AI训练资源的分配逻辑。

论文方法论的核心在于把拟合过程转化为主动、顺序的决策过程。给定候选实验池后，系统先分解目标区域的预测不确定性——包括盆地内部方差（intra-basin）和盆地间分歧（inter-basin）。随后用cost-aware score排序：预期误差降低量除以成本（附加惩罚），优先执行那些能同时削减两种不确定性且性价比高的实验。跑完一个后更新后验，再决定下一个，逐步收敛。

论文将scaling law拟合重新定义为预算感知的顺序实验设计问题。给定一个包含异质成本的候选实验池，目标不再是追求整体拟合优度，而是最大化高成本目标区域（如未来大模型落脚的高算力区）的预测准确性。核心是将过程转为顺序决策：不是一次性决定全集，而是边跑边观察，动态选择下一步。这与以往一次性批量实验的思路形成鲜明对比。

论文提出的uncertainty-aware采集函数则提供了另一种路径。它不仅考虑局部方差降低，还会评估实验对不同外推“盆地”区分的贡献，在预算约束下动态排序候选run。这一机制自然延伸到MoE的多维度scaling空间，总参数N、激活参数Na、专家数E、粒度G等因素交织，成本异质性强，主动选择能更精准捕捉激活比与compute budget之间的power-law关系以及粒度的非线性调制。

当然，方法仍有现实边界。它依赖混合高斯近似，在盆地识别极端困难时精度可能受限，当前基准也使用了简化成本模型。实际部署中还需要结合真实算力计费进一步调优，多步前瞻和更鲁棒后验估计是值得跟踪的方向。但整体而言，这已为中小团队从被动全跑转向主动选择提供了实用框架，值得持续观察其在更多真实场景下的表现。

论文的核心贡献在于把scaling law拟合重构为预算受限下的顺序实验设计。给定一个包含异构成本的候选实验池，方法不再一次性决定全集，而是从低成本起点开始，动态选择下一个最有价值的实验。操作上，先用FLOPs等指标标注每个候选的预估成本，再设定总预算上限。通过这种方式，团队能以远低于全集的开销，优先解析那些对目标区域预测影响最大的不确定性。早期阶段侧重解决全局“盆间”分歧，后期则精细化局部趋势，这与人类投资决策的逻辑高度一致。

论文的核心创新在于把拟合形式化为一个有限候选池下的序贯决策问题。每个候选实验有不同算力成本，目标不是全局拟合精度，而是最大化在高成本目标区域的外推准确性。算法通过序贯更新后验，每一步主动挑选下一个最值得跑的实验。这种框架直接回应了行业痛点：Scaling Law不是静态曲线拟合，而是动态预算下的信息获取过程。

最近一篇arXiv论文《Spend Less, Fit Better》把scaling law拟合的预算难题摆上了台面。scaling law本是用来规划百万美元级训练的工具，但拟合过程本身往往就要烧掉不菲的算力。在MoE架构下，这个问题尤为突出：不同专家数、激活比例带来的成本异质性，让传统pilot实验容易陷入低效循环。

论文方法论的核心是将拟合过程转为主动、顺序决策。针对词汇量Scaling Law（N V D联合拟合），主动选择先针对“盆地间不确定性”下手，优先挑选能区分不同外推趋势的实验，快速收窄可能拟合的空间；随后再精炼盆地内部方差，实现对目标区域更精准的预测。基准测试显示，在多个Scaling任务上，仅用约10%总训练预算即可接近全实验集的外推性能，尤其在词汇相关场景中优势显著。

在当前大模型训练实践中，Scaling Law已成为提前规划数百万美元预算的核心依据，其中学习率与批大小的Scaling行为直接决定了训练稳定性和最终性能。然而，拟合这些规律本身往往需要大量试点实验，成本容易失控。

我的判断是——但这个判断可能需要修正——人工把控仍是不可或缺。