用10%预算拟合Scaling Law：新论文实证结果解读

它背后是流量生态的权力转移，也是内容创作者的生存哲学。

在构建的多样化基准上（涵盖8个任务、65个Scaling Law实例），该方法用约10%的总预算即可接近全实验集的外推性能，显著优于随机、贪婪或经典最优设计基线。短期内，这为大模型团队的pilot迭代提供了实用路径，能更快锁定可靠趋势，减少无效支出。长期看，它可能推动行业从“堆实验”转向“智能选实验”，重塑AI训练资源的分配逻辑。

真实benchmark进一步印证了其优势。论文在8类多样任务（涵盖学习率优化、MoE配置、稀疏性设计等）构建的65个实例中，主动方法在1%、5%、10%预算水平下均显著优于随机、最便宜优先及经典最优设计基线。在10%预算时，多数任务的目标区域R²已接近甚至达到全集水平。前后对比清晰：经典基线在低预算下外推误差较大，而主动选择通过优先覆盖高信息增益试点，快速收敛到高精度。ablation也证实，不确定性分解的两部分都不可或缺。

这一点目前行业内仍有不同声音。如果目标区域的外推需求涉及更多异质成本维度，当前成本感知模型的效果可能打折；反之，当主动实验选择方法在社区普及并进一步迭代，整个训练预算的利用率有望显著提升。值得持续跟踪，现在下结论为时尚早。

论文的核心贡献在于把问题转化为预算感知的序贯决策。给定一个候选实验池，每个实验成本异质，目标是最大化高成本目标区域的预测准确性。作者引入不确定性感知的主动选择，每次迭代优先挑选对目标区域均方预测误差（MSPE）减少最显著的点。通过分解MSPE为盆地间差异和盆地内方差两部分，方法在盆地辨识阶段减少不同参数盆地间的分歧，在局部精炼阶段缩小单个盆地内的预测变异。这不是盲目增加点数，而是让有限预算精准服务于外推需求。

论文的核心贡献在于把Scaling Law拟合转化为预算感知的序贯实验设计问题。给定有限候选实验池且成本异质，目标是最大化高成本目标区域的预测准确性。作者提出不确定性感知的主动选择策略，每次迭代优先挑选对目标区域外推信息量最大的实验点，而非盲目增加点数。这个框架本质上平衡了全局盆地辨识与局部精炼，区别于传统只优化参数估计精度的做法。

对AI实验室和训练团队而言，短期内最直接的启示是：在pilot阶段就可以尝试类似主动选择策略，显著压缩Scaling Law拟合的整体开支。以前可能需要几百个实验才能得到可靠外推，现在几十个或许就够用，尤其对预算紧张的中小团队或早期探索特别实用。当然，如果目标区域定义发生较大变化，或实验池成本差异不够明显，收益可能会打折，这一点目前行业内仍有不同声音。

为什么这个方法有效？传统设计往往假设实验点均匀分布，或仅优化整体参数估计精度，却忽略了目标区域通常位于高成本区的事实。新策略显式纳入预算和成本，每次选择都计算候选实验对目标MSPE的预期减少量，并按成本归一化。这样，低成本高信息量的点会被优先执行，高成本点则只在必要时介入。数据支持这个方向，但样本量和任务多样性仍有限，值得持续跟踪。

在多样化的scaling-law任务基准测试中，主动实验选择以约10%预算就接近甚至达到全集拟合的性能表现，尤其在目标区域R²指标上持续优于随机、最便宜优先以及传统优化策略。ablation研究进一步证实，不确定性分解的两个组件都不可或缺，前者帮助精炼拟合，后者则辅助分辨不同外推行为的盆。这种结果为大模型团队提供了可量化的预算优化路径。

方法的关键在于引入基于目标区域不确定性的采集函数。传统采集仅关注参数空间的不确定性，而论文强调真正重要的是目标区域的均方预测误差（MSPE），并将其分解为盆内不确定性和盆间不确定性。采集函数优先选择那些能同时降低这两种不确定性的实验，同时以成本进行惩罚，避免高价低信息实验占据预算。数据支持这个方向，但样本量仍需更多验证。

论文提出的target-aware acquisition function正是针对这一盲区设计的。它将目标区域的均方预测误差（MSPE）分解为intra-basin不确定性和inter-basin不确定性两项，前者反映同一参数盆内的预测波动，后者衡量不同盆在目标区域的预测分歧。引入cost penalization alpha（实验中常设为0.4左右）实现成本归一化后，获取函数能优先选择那些单位成本信息增益最高的实验。

这一点在当前的行业讨论、案例分享和专家观点中，仍然存在一定的不同解读角度、争议声音和侧重点差异。我个人基于过去几年持续跟踪观察多个真实项目和团队的经验判断是，怎么进二元一分红中麻将群的整体发展方向在宏观层面是基本正确和具有较强确定性的，但具体的战术打法选择、资源优先级排序、落地执行路径设计以及组织内部的协同机制构建，在不同团队、不同垂直领域和不同发展阶段之间，确实呈现出较为明显的多态性、差异化和本地化特征。