用10%预算拟合Scaling Law：新论文实证结果解读

当起手布局的相关政策或标准开始出现时，意味着这个方向正在从野蛮生长转向规范化发展。

大多数从业者在词汇量scaling law上的认知仍停留在早期阶段。从Kaplan的功率律起步，到Chinchilla强调N-D平衡，再到Tao等人指出更大模型值得配更大vocab，社区讨论常围绕“更大vocab是否总能更好压缩信息”展开。媒体和论坛里，tokenization优化的话题热度不减，但不少一线工程师吐槽pilot实验成本高昂，跑出的数据对真正大模型区域的informative程度不足。

把这一思路扩展到MoE时，契合度特别高。MoE的scaling涉及总参数N、激活参数Na、专家数E、粒度G、数据集D等多维度，成本高度非均匀。主动实验选择机制能更精准捕捉MoE特有的power-law关系，比如激活比与compute budget之间的规律，以及粒度带来的非线性调制。传统全量pilot更接近暴力烧钱，而这种主动方式让参数高效扩展下的成本优化真正落地。

短期内，大模型研发团队能直接降低试点预算，加快迭代节奏，把更多资源投向高价值实验。长期来看，这类AI效率技术普及后，中小团队也有机会深度参与Scaling探索，而不被高昂的前期成本完全挡住。当然，如果配套代码仓库被社区快速集成到常用实验平台，落地会加速；否则，它可能先停留在学术验证阶段。值得持续跟踪，现在下结论为时尚早。

进一步，不确定性被分解为盆地内部方差和盆地间分歧，前者反映单个拟合的置信度，后者捕捉不同盆地对外推的争议。基于此，论文设计了目标感知的采集函数，为每个候选实验计算信息增益与成本的比值，优先选择那些能有效减少目标区域均方预测误差的配置。这种主动视角类似投资组合优化中的动态采样，把有限预算投向回报最高的实验点。

Scaling Law本应是指导昂贵训练的工具，描述模型性能与规模、数据量、计算量等变量的关系。然而在实际大型工作流中，组装足够信息量的实验池本身已成为主要预算分配难题，而非简单的预处理步骤。许多团队要么全量执行，要么随机挑选，导致外推到高成本目标区域时准确性不足，最终决策失误。传统方式让“预测性能”变成了最贵的预习。

Scaling Law 长期被视为 AI 实验室规划百万美元级训练预算的核心工具，通过小规模 pilot 实验外推大模型在更高规模下的表现。但拟合这些 Scaling Law 本身往往需要大量实验，成本容易失控。arXiv 最新论文将这一过程重新形式化为预算感知的序贯实验设计，在多样基准任务上，仅用约 10% 的总训练预算，就接近了全集拟合的性能表现。

论文还考虑了成本异质性：小规模试点相对廉价，大规模验证则昂贵。采集函数中引入成本惩罚项（α控制强度），使得早期迭代倾向于分辨不同外推盆地，后期则聚焦单位成本下的方差最小化。这种理性分配逻辑，在实际流水线中落地潜力很大，尤其对资源受限的团队而言。

大型语言模型训练动辄耗费数百万美元，团队在正式开跑前总要依赖Scaling Law来预测参数、数据和计算的最优配比。但拟合这些定律所需的Pilot实验本身就可能烧掉巨额预算。传统做法往往随机或按经典设计撒网式跑大量小规模实验，成本高昂且外推到目标大模型区域时准确性不稳定。

表面来看，大多数从业者仍停留在“多跑Pilot才能可靠拟合”的主流认知，认为需要足够多样的小规模实验才能捕捉Scaling趋势。但这一观点忽略了实验成本的异质性，以及目标大模型区域外推准确性的优先级。结果是大量预算浪费在低信息增益的实验上，而真正决定百万级训练成败的关键区域却得不到充分刻画。

回看scaling law的演进，从Kaplan的早期发现到Hoffmann的平衡优化，再到词汇scaling的细化，趋势一直是不断引入新变量并追求更精准的外推。现在主动实验选择把这一过程前置为预算优化的前瞻设计，让中小团队也能以更低门槛参与高效预训练规划。

这一点目前行业内仍有不同声音，但多数资深观察者倾向于质量优先。

• 返回首页
• 进入栏目
• 哪里有红中麻将微信群
• 起手布局
• 行业观察
• 深度报道
• 专题聚焦