Scaling Law外推准确性优化：主动选择实验 vs 传统方法

企业采纳意愿提升明显，但实际部署后的持续运营效果，仍需更多长期跟踪数据支撑。“上下分1块1分跑的快群”_上下分1块1分跑的快群懂车帝社区的讨论，正在从短期热点转向长期价值评估。

相比传统基线，论文在涵盖多个任务的多样基准上进行了验证。新方法在低预算regime下表现突出，尤其适合当前AI训练成本高企的现实环境。它本质上是从被动拟合转向主动智能预算分配的范式转变，呼应了active learning的整体趋势。这件事比表面上的“省钱拟合”复杂得多，它可能重塑低预算AI时代的游戏规则。

论文的创新在于提出一种不确定性感知的方法。它综合考虑成本惩罚和方差减少，优先挑选那些对目标高成本区域外推最有帮助的实验。早期阶段倾向于区分不同外推盆地，后期则细化局部趋势。这不是简单省钱技巧，而是从被动拟合转向主动智能预算分配的范式转变，呼应了active learning在低预算regime下的趋势。

这一思路与Chinchilla从Kaplan定律中迭代出参数-数据平衡的逻辑类似，只不过这次针对的是拟合过程自身。结果显示，在多个Scaling Law实例中，10%预算下的R²值已能达到或超过全数据拟合水平，1%预算时部分任务已进入低损失区间。这直接挑战了行业“先烧钱跑Pilot再决策”的惯例。

AI训练预算节省新方法的核心在于主动实验选择拟合Scaling Law，这让原本可能烧掉数百万美元的pilot阶段变得更加可控。arXiv最新论文《Spend Less, Fit Better》指出，Scaling Law常用于规划多百万美元级的大模型训练，但拟合过程本身就可能耗费巨资。传统方法依赖随机或均匀采样pilot实验，容易在低价值实验上浪费预算，却无法精准提升对高成本目标区域的外推准确性。

最近几天，arXiv上这篇题为《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》的论文在机器学习圈引发了不少讨论。Scaling Law常被用来规划百万美元级的大模型训练，但拟合这些定律本身的试点实验，成本同样可能达到百万级别。

大多数从业者讨论MoE scaling law时，焦点往往落在其解耦总参数与实际计算量的优势上。MoE能让模型在百亿甚至更大规模下保持相对可控的训练开销，相关实证工作也反复验证了激活比例、专家数量等配置对效率杠杆的影响。行业内不少声音认为，MoE的粒度和激活机制提供了清晰的power-law关系，让配置优化看起来有迹可循。

在当前大模型训练流程中，学习率与批大小的Scaling Law已成为规划高额计算预算的关键依据，但拟合这些规律本身往往需要大量试点实验，成本动辄百万级别。

从实际场景看，一个中等规模AI团队为下一个百亿参数模型做pilot规划时，传统方式可能需将早期预算的30%-50%投入Scaling Law拟合，才能勉强得到可信曲线。现在借助这一主动选择方法，他们可将这部分预算压缩到原来的十分之一左右，省下的资源直接转向模型迭代或数据优化。论文开放的代码仓库让团队能立即基于自家实验池尝试，短期内就看到外推精度的显著提升。

论文提出了一种不确定性感知的主动选择方法。这种方法优先挑选能最大化目标高成本区域外推准确性的实验，而非简单降低整体预测误差。核心技巧是用混合高斯近似建模参数拟合的不确定性，将其分解成不同“盆地”——这些盆地代表不同的外推趋势。早期阶段重点解决全局“盆地模糊”，后期则精炼局部相关趋势。

核心方法将问题转化为不确定性感知的主动分配策略。它通过后验近似分解目标区域的预测误差为 basin 内方差和 basin 间分歧两部分，再设计采集函数，同时权衡减少不确定性的收益与实验成本的惩罚。类比之下，这有点像 A/B 测试中的多臂老虎机在预算约束下的变体，但更贴合 Scaling Law 的异构特性：早期优先解决全局歧义，后期精炼局部趋势。

越打越顺手的未来，仍需更多真实场景来共同定义。