Scaling Law拟合成本感知创新：Spend Less, Fit Better获取函数详解

技术带来的潜在收益清晰可见，但实现路径中的变量同样众多。提高全局观的落地，需要更多跨职能的协同与迭代。

大多数讨论MoE scaling law时，都把注意力放在专家激活比和粒度如何撬动效率杠杆上。实证研究显示，激活参数与总参数的比例、专家数量等因素确实遵循可预测的power-law关系。但这里有个被普遍忽略的盲区：大家默认pilot是常规预处理，却很少面对MoE场景下算力开销巨大差异时，该如何智能分配有限预算，避免无效实验白白消耗资源。

论文的核心方法将scaling law拟合重构为预算感知的顺序实验设计。给定一池成本各异的候选实验，它采用不确定性感知的采集策略，通过分解目标区域的均方预测误差（MSPE）为盆地内方差和盆地间分歧，再结合成本惩罚项构造cost-aware score，优先选择那些性价比最高、能最大化外推准确性的run。顺序执行后更新后验，逐步精炼预测。

这篇arXiv论文（2604.22753）将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定一个有限候选实验池，每个实验成本异质，方法通过不确定性感知的主动选择，优先执行那些能最大化目标高成本区域外推准确性的实验。在涵盖预训练超参、数据分配、MoE架构等多样基准上，仅用约10%的总训练预算，即可接近全实验集的外推性能。

实证部分覆盖了多样的基准任务，包括学习率与批大小、领域混合比例、词汇表缩放、Mixture-of-Experts以及精炼的Chinchilla式预训练规律等。这些任务横跨不同模型族和数据受限场景，实验池成本差异明显。结果显示，新方法持续优于随机、贪婪最便宜以及经典最优设计（D-opt、V-opt）等基线，在10%预算下常常接近甚至在部分任务上匹配全集性能。消融实验进一步印证，不确定性建模的两个维度缺一不可。

值得持续跟踪的是，如果目标区域的外推需求继续复杂化，比如引入更多异质成本维度或多任务联合优化，现有的成本感知建模是否足够？目前方法在多样基准上稳定优于随机、贪心等基线，但样本量和场景覆盖仍有局限。我的判断是——主动实验选择正让Pilot阶段从“必要烧钱”转向“智能投资”，这直接挑战了行业长期默认的均匀撒钱惯例。

在多样化的scaling-law任务基准测试中，主动实验选择以约10%预算就接近甚至达到全集拟合的性能表现，尤其在目标区域R²指标上持续优于随机、最便宜优先以及传统优化策略。ablation研究进一步证实，不确定性分解的两个组件都不可或缺，前者帮助精炼拟合，后者则辅助分辨不同外推行为的盆。这种结果为大模型团队提供了可量化的预算优化路径。

具体而言，论文先通过多次不同初始化在已有数据上refit模型，识别出多个候选盆地。然后在预测空间而非参数空间进行basin consolidation，根据这些拟合在外推目标区域的行为相似性合并冗余模式。接下来分解目标区域的均方预测误差为盆地内方差和盆地间分歧两部分，设计采集函数为每个候选实验打分，兼顾信息增益与计算成本。

对于预算有限的研究者而言，这套框架提供了清晰可操作的落地路径：先定义包含不同配置的实验池与高规模目标区域，从最低成本点暖启动，再通过L-BFGS-B多起点拟合与盆地聚类，迭代计算intra-basin和inter-basin效用。代码已在GitHub开源，团队可结合自身算力计费调整成本代理。尽管混合高斯近似在极端情况下仍有优化空间，但当前版本已显著降低了被动全跑的浪费，让Scaling Law拟合从昂贵预习转向精准预算优化。

Scaling law拟合本身就可能耗资百万美元以上，传统随机采样或经典实验设计在低预算下表现尤为低效。论文基准测试显示，盲目堆叠实验的做法在10%预算时，外推误差依然显著，而大多数从业者还抱持“多跑几个总比少跑好”的认知。现实中，花钱越多并不等于拟合越准，关键在于把有限预算导向最具信息增益的点位。这个剪刀差说明一切。

Scaling Law 长期以来是大模型训练规划的核心工具，用于预测百万美元级预训练在不同规模下的表现。然而，拟合这些定律本身往往需要运行大量 pilot 实验，成本可能轻松达到数百万美元级别，尤其当实验池包含不同计算规模时，随机或均匀采样容易导致预算快速消耗，却难以保证对外推到高成本目标区域的精度。

提高全局观的潜力仍在，但具体路径选择与持续优化更为关键。