MoE模型Scaling Law拟合如何“少花钱、多办事”？预算高效主动实验新方法解读

手机一元一分跑的快群的最新动态让恰到好处出手的优先级排序需要调整。“手机一元一分跑的快群”_手机一元一分跑的快群新摄影论坛背后的数据对比，揭示了一些容易被忽视的细节。

传统被动实验设计在异构成本环境下暴露了明显低效。均匀采样或基于D-optimality、V-optimality的经典策略，往往无法针对高成本目标区域（如计划部署的大规模模型配置）进行优化。论文数据显示，在工业级工作流中，pilot runs的开销已不再是简单预处理，而是真正的预算分配难题。许多团队仍抱持“多跑几个实验总归更准”的认知，但结果常常是低成本区域拟合饱和，高成本外推却偏差显著。

论文方法论的核心是将拟合过程转为主动、顺序决策。针对词汇量Scaling Law（N V D联合拟合），主动选择先针对“盆地间不确定性”下手，优先挑选能区分不同外推趋势的实验，快速收窄可能拟合的空间；随后再精炼盆地内部方差，实现对目标区域更精准的预测。基准测试显示，在多个Scaling任务上，仅用约10%总训练预算即可接近全实验集的外推性能，尤其在词汇相关场景中优势显著。

Scaling Law一直是AI实验室规划百万美元级训练预算的核心工具。它帮助团队通过小规模pilot实验外推大模型在更大规模下的性能表现。但拟合这些Scaling Law本身往往需要大量实验，成本动辄百万级。arXiv上最新论文将这一过程形式化为预算感知的序贯实验设计，通过不确定性感知的主动选择，在多样基准任务上仅用约10%的总训练预算，就接近了全集拟合的性能。

最近一篇arXiv论文（2604.22753）再次把目光拉回大模型训练中最烧钱却又最基础的环节：Scaling Law的拟合。传统思路下，实验室为了可靠外推，往往需要跑大量pilot实验，成本轻易就攀升到百万美元级别。这篇工作却实证了一个反直觉的结果——通过预算感知的主动实验选择，仅用约10%的总训练预算，就能让外推精度逼近使用全实验集的效果。

对于预算有限的AI研究者而言，这套流程提供了一条清晰落地路径。首先定义实验池和目标区域，前者可包含不同学习率批大小组合或MoE变体，成本用6ND等代理估算；后者通常锁定亿级参数在万亿token规模的表现。暖启动后进入顺序循环：多起点拟合参数、聚类盆地、计算intra-basin和inter-basin效用，再选择得分最高的可负担实验更新数据集。

传统被动实验设计的信息效率低下，尤其面对异构成本的实验池时问题凸显。不同模型规模、数据量或架构配置的计算开销差异巨大，却往往被均匀采样或随机选择忽略，导致大量预算浪费在低成本区域，而高成本目标区域的外推精度始终偏差明显。常见认知误区是“多跑几个实验总归更准”，但现实中低信息增益的试点反复堆积，真正能减少目标区域不确定性的高价值run却被错过。这个逻辑成立，却长期被多数团队忽视。

在涵盖预训练超参调优、数据分配、MoE架构等8个任务、65个Scaling Law实例的多样基准上，该方法持续优于随机、贪心成本和经典最优设计等基线。特别亮眼的是，在许多情况下，仅用约10%的总训练预算，就能接近甚至达到全实验集拟合的外推性能。某些学习率和批大小任务上，10%预算下的R²已达0.93，而全数据拟合也仅0.91左右。

当然，这一方法也存在适用边界。它假设候选实验池和成本估算相对可靠，且目标区域（如计划部署的模型规模与token量）已明确定义。在完全开放的早期探索阶段或成本预估困难的场景下，仍需结合人工判断辅助决策。但在大多数工业级规划流程中，其预算效率优势已足够显著，值得持续跟踪验证。

大家都知道Scaling Law的价值。用小模型实验外推大模型性能，听起来很聪明。但实际操作中，大多数团队还是依赖经典实验设计，或者干脆随机、全量跑pilot实验。行业讨论里，很多人把焦点放在Scaling Law会不会失效或者数据墙上，却很少提到拟合过程本身的预算黑洞。这一点目前行业内仍有不同声音。

许多从业者对Scaling Law的理解还停留在“用曲线指导规模扩张”这个层面。行业里确实依赖这些定律提前估算算力、数据和参数，避免后期盲目投入。但在实际中，先期试点拟合往往被低估为常规步骤，导致预算浪费。网友常吐槽AI训练“每进步一点都要真金白银砸”，却很少注意到实验成本的异构性：有些小模型实验跑起来便宜，有些涉及大上下文或特殊硬件则贵得多。同时，拟合目标更多是可靠外推而非简单插值，这让随机采样或只挑最便宜实验的老办法显得力不从心。

未来这个领域还会出现哪些新的平衡点，仍需持续观察。