为什么传统Scaling Law拟合方法已过时？新主动选择策略解析

这个差距跟几年前企业上云的早期阶段颇为相似，却又带着这次技术窗口更窄的紧迫感。

当然，效果也取决于基准任务覆盖和实际成本建模的准确性。如果候选池离散假设或动态预算场景扩展不足，性能可能会有波动。这一点目前行业内仍有不同声音，值得持续跟踪后续复现和开源代码的应用情况。

不过，如果target区域定义出现偏差，或未能更好融合shared experts等MoE特有因素，外推精度仍可能受限，大厂级资源优势或许依然明显。数据支持这个方向，但样本量有限，值得持续跟踪，现在下结论为时尚早。

对AI实验室和训练团队而言，短期内最直接的启示是：在pilot阶段就可以尝试类似主动选择策略，显著压缩Scaling Law拟合的整体开支。以前可能需要几百个实验才能得到可靠外推，现在几十个或许就够用，尤其对预算紧张的中小团队或早期探索特别实用。当然，如果目标区域定义发生较大变化，或实验池成本差异不够明显，收益可能会打折，这一点目前行业内仍有不同声音。

用约10%总训练预算，就能逼近全集数据的拟合效果，这或许是当前LLM scaling优化中最务实的信号之一。当然，后验计算本身存在工程开销，对于超大规模候选池仍需优化。数据支持这个方向，但样本量和任务多样性仍有限，值得行业继续验证其在更多真实场景下的鲁棒性。

表面上看，这只是一个“省钱”技巧。社区讨论多停留在“终于不用全跑pilot了”这类直观感受上。但主流Scaling Law拟合仍依赖均匀采样或随机选择，这些经典基线在预算受限时，外推误差容易显著放大。新方法的不同在于，它显式建模了实验成本异质性和目标区域的不确定性，而非简单减少点数。数据支持这个方向，但样本量和任务多样性仍有待更多验证。

Scaling Law在行业里早已成为共识工具，许多团队依赖它来提前估算算力、数据和模型规模，避免大规模训练的盲目投入。可现实中，拟合过程本身成了另一笔隐形成本。不少从业者吐槽AI训练“每进步一点都要真金白银砸进去”，表面上看只是“少跑几个数据点就能拟合曲线”，但忽略了实验成本的异构性——小模型试点可能廉价，大上下文或特殊硬件实验则昂贵得多。同时，目标往往是可靠外推到高成本区域，而非简单插值已有数据。

在 Scaling Law 指导大模型训练预算规划的背景下，拟合过程本身往往成为另一重成本黑洞。arXiv 新论文《Spend Less, Fit Better》把这个问题重新定义为预算感知的顺序实验设计，核心是通过主动选择实验来应对非线性 Scaling Law 中的 **multi-basin** 现象。

论文的创新点在于，把问题明确定义为预算感知的序贯决策。给定一个有限的可运行实验池，每个实验成本不同，目标是最大化在高成本目标区域的外推精度。他们提出的不确定性感知方法，会综合考虑成本惩罚和方差减少，优先选择那些能显著降低目标区域预测不确定性的实验。这一点目前行业内仍有不同声音，但数据支持这个方向。

在当前大模型训练中，学习率与批大小的Scaling Law已成为规划数百万美元预算的核心依据。然而，拟合这些规律本身往往需要大量试点实验，成本高昂。最新arXiv论文《Spend Less, Fit Better》提出了一种预算感知的主动实验选择方法，通过不确定性感知的序贯设计，仅用约10%的训练预算，就能实现接近全数据集拟合的精度。

论文在覆盖学习率与batch size缩放、领域混合、MoE专家混合等8个任务、65个Scaling Law实例的benchmark上验证了这一点，真正值钱的不是跑更多实验，而是聪明地挑对的实验。

行业观察者普遍认为，这一轮的窗口期比以往更短。