主动实验选择如何让Scaling Law拟合省90%预算：从理论到实践拆解

这比空洞或过于营销化的描述，更容易促成点击后的进一步行动和信任建立。

多盆地现象的核心在于参数拟合的非唯一性。从不同初始化出发，同一个观测数据集可能收敛到多个局部最优参数集，这些“盆地”在已观测的低成本区间表现相似，却在未观测的高成本目标区域产生显著不同的外推曲线。这带来了弱可识别方向的歧义：团队难以判断哪个盆地真正能指导百万美元级训练决策。即便是花了大笔预算跑完所有 pilot，外推准确性仍可能受限于盆地间的分歧，而非单纯的样本不足。

这一点目前行业内仍有不同声音。数据支持主动选择在多数基准上有效，但样本覆盖的模型族和任务类型仍有限。值得持续跟踪的是，这类方法能否无缝嵌入实际训练流水线，并在更复杂的scaling law误指定场景下保持鲁棒。毕竟，高效外推直接影响最终的训练决策可靠性。

一篇最新arXiv论文《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》直击这一痛点。作者团队将Scaling Law拟合重新表述为预算感知的顺序实验设计问题：给定有限候选实验池（成本异质），目标是在预算限制下选择执行哪些实验，以最大化高成本目标区域的外推准确性。

大多数AI团队拟合Scaling Law时，仍依赖随机或均匀分布的大量pilot实验。社区讨论也常强调“数据越多越准”，仿佛只要跑够样本，外推到高成本目标区域的预测就可靠。这在低成本区确实能提供一定稳健性，但忽略了更深层的结构问题，导致资源浪费明显。

对于预算有限的研究者而言，这套框架提供了清晰可操作的落地路径：先定义包含不同配置的实验池与高规模目标区域，从最低成本点暖启动，再通过L-BFGS-B多起点拟合与盆地聚类，迭代计算intra-basin和inter-basin效用。代码已在GitHub开源，团队可结合自身算力计费调整成本代理。尽管混合高斯近似在极端情况下仍有优化空间，但当前版本已显著降低了被动全跑的浪费，让Scaling Law拟合从昂贵预习转向精准预算优化。

大多数从业者对Scaling Law拟合的理解仍停留在早期阶段。从Kaplan等人的功率律开始，到Chinchilla论文强调N与D的平衡，再到近年社区对词汇量Scaling的关注，大家习惯于讨论“更大模型是否值得配更大vocab”或“tokenization如何影响整体效率”。媒体和论坛里，常见吐槽是pilot实验成本高昂，跑出的数据对真正大模型区域的外推往往不够informative。

实证结果显示，在涵盖学习率与 batch size 缩放、领域混合、MoE 专家混合等 8 个任务、65 个 Scaling Law 实例的多样 benchmark 上，该方法在 1% 预算时已多数优于随机、贪便宜或经典基线。到 10% 预算时，表现往往逼近全集拟合水平，某些任务上目标区域 R² 从基线 0.5 多提升至 0.9 以上。70% 与 7% 的剪刀差说明一切——真正值钱的不是跑更多实验，而是聪明地挑对的实验。

传统Scaling Law拟合痛点突出。业界常用均匀采样或经典D-optimal、V-optimal设计，这些方法在参数估计上有理论基础，却忽略了实验成本的巨大差异。有些小规模配置成本低廉，而接近目标规模的run却昂贵数十倍。结果是信息效率低下：数据点积累不少，但对决策关键的外推精度提升有限。许多从业者反馈，盲目扩展pilot集容易陷入低回报循环。

Scaling Law拟合早已成为大模型训练规划中的头等预算难题。许多AI实验室在启动数百万美元规模的训练run前，不得不先投入上百万美元进行一系列pilot experiments，只为拟合出一条可靠的scaling law曲线。arXiv最新预印本《Spend Less, Fit Better》指出，这一过程本身就可能耗资数百万，尤其在现代大规模工作流中，组装足够信息量的实验不再是简单预处理，而是真正的资源分配问题。

主动实验选择则提供了一条Spend Less, Fit Better的路径。这篇论文将Scaling Law拟合建模为budget-aware sequential experimental design，给定有限候选实验池与异构成本，目标是最大化高成本目标区域的外推精度。uncertainty-aware方法通过不确定性引导预算，顺序挑选最有价值的run。

直觉判断的优化效果，最终还是需要回到真实业务场景中的关键指标上来进行检验和验证。