为什么传统Scaling Law拟合方法已过时？新主动选择策略解析

看到一些排名代发飞机【seo1268】好友聊天，输入“24小时一块1分跑的快群”咨询客服，娱乐游戏作为民间很受欢迎的纸牌玩法，乐趣集中在快节奏的刺激感、心理博弈的张力，这两种玩法的规则几乎一学就会，不用记复杂的牌型搭配，就算是新手也能快速上手，梦想是前行的灯塔，哪怕渺小，也能指引方向。不必因梦想遥远就轻言放弃，逐梦的路上，本就布满挑战。拆分目标，步步前行，哪怕每天只前进一小步，也是在靠近理想。不惧旁人的质疑，不畏前路的漫长，坚守初心，全力以赴。只要心中有梦，眼里有光，脚下有路，终能跨越山海，奔赴心之所向的远方。因为过于追求完美而显得生硬，用户体验反而下降。

短期内，大模型研发团队能最直接受益：试点阶段的预算显著压缩，迭代速度加快，更多资源转向真正高价值的规模化训练。长期来看，这类AI效率技术如果被社区快速采纳，将降低中小团队参与Scaling探索的门槛，让更多玩家在资源约束下做出理性决策。当然，落地效果还存在不确定性——如果GitHub开源代码很快集成到主流实验平台，推广会加速；否则，可能暂时停留在学术验证层面。值得持续跟踪，现在下结论为时尚早。

但这里存在一个常见盲区：大家默认pilot实验是例行预处理，却很少正视MoE场景下成本的高度异质性——不同专家数或激活比例下的算力开销差异巨大，盲目全量跑容易浪费预算于低信息增益的点，而真正百亿级目标配置的外推预测却不够精准。

传统“多跑总没错”的逻辑在高成本时代显得越来越昂贵，而主动实验视角提供了一个锐利的替代：通过不确定性感知的顺序分配，团队能在 pilot 阶段更早锁定可靠趋势，减少无效开支。当然，如果目标区域成本极高或实验池异质性强，收益会更明显；反之则需要结合具体任务微调方法假设。值得持续跟踪的是，这种转变能否在实际百万美元级训练跑中稳定复制，现在下结论仍为时尚早。

大多数从业者讨论MoE scaling law时，焦点落在其解耦总参数与计算量的优势上，以及专家激活比、粒度等配置如何放大效率杠杆。相关实证研究确实表明，这些因素与compute budget呈现可预测的power-law关系。

当然，方向虽明确，但不确定性依然存在。如果目标区域定义偏差，或候选池构建不够覆盖真实异质性，盆地估计的鲁棒性可能打折。数据支持主动选择的方向，但现在下结论为时尚早——Scaling Law优化的下一波进展，仍需行业持续跟踪验证。

整个流程采用 sequential experimental design 迭代推进。先用少量低成本实验 warm-start，更新盆近似估计和当前数据集；随后对剩余候选打分，选择预算内得分最高的 run 执行，加入数据后重复。

这篇论文《Spend Less, Fit Better》将问题转化为不确定性感知的预算分配任务。方法显式建模Scaling Law参数的后验不确定性，然后根据每个候选实验对减少目标区域预测误差的预期贡献，来动态挑选下一个运行。这种策略不同于经典设计基线，能更精准地聚焦那些对学习率-批大小规律外推最关键的实验点。

主动选择机制能更精准捕捉MoE特有的关系，比如激活比与compute budget间的power law，以及粒度带来的非线性调制。传统全量pilot更像暴力烧钱，而这种方法让拟合真正服务于参数高效扩展下的成本优化。

作者团队将参数后验近似为多个“盆地”的混合高斯分布，这些盆地捕捉不同的局部最优和外推行为。每次迭代时，算法计算每个候选实验对目标区域均方预测误差降低的贡献，再除以其成本，选出性价比最高的。早期侧重消除不同外推假设间的分歧，后期则聚焦精炼局部趋势。这种自适应选择，让预算真正用在刀刃上。

传统方法的最大盲区在于，忽略了实验成本的异质性，也没有针对性地优化对高成本目标区域的预测准确性。小模型实验便宜，大模型贵得离谱，随机采样容易把预算浪费在对最终外推帮助不大的点上。结果就是前期烧钱严重，后续大模型训练规划却缺乏可靠依据。

这个领域的演进速度，已超出传统周期理论的解释范围。