用少量低成本实验精准预测大型AI模型性能：主动实验选择实用指南

这既反映了从业者的焦虑，也折射出行业的成熟度。

但这里存在一个被普遍忽视的盲区：大家默认pilot实验只是常规预处理，却很少正视MoE场景下成本的高度异质性——不同专家数、激活比例下的算力差异极大，盲目全量跑很容易把有限预算浪费在低信息增益的点上。

论文的核心创新在于，将Scaling Law拟合转化为一个明确的预算感知序贯优化任务。给定有限的候选实验池，每个实验成本不一，方法动态决定下一步执行哪个实验，以最大化目标高成本区域的预测准确性。不确定性感知机制发挥关键作用：早期阶段优先化解全局参数空间的“盆地”模糊，后期则聚焦精炼目标区域的方差。这种主动实验选择，在多个Scaling Law基准任务上稳定超越经典基线，体现出从静态挑选到动态智能分配的转变。

对于预算有限的团队，实操流程清晰可落地。首先定义实验池与目标区域，从成本最低的几个点进行暖启动，数量大致等于Scaling Law参数个数，确保初始支撑。随后进入迭代循环：估计盆地，计算intra-basin和inter-basin效用，挑选得分最高且可负担的实验执行，更新数据集直至预算耗尽。在某些困难任务如学习率与批大小联合缩放上，主动方法在1%预算时已能进入低损失区域，而随机选择则明显滞后。

在Scaling Law拟合的实践中，主流做法往往依赖大量随机pilot实验来积累数据点。许多团队相信，跑的实验越多，曲线外推到高计算成本目标区域时就越可靠。这种“数据越多越准”的直觉在社区讨论中反复出现，尤其当规划数百万美元级训练跑时。

Scaling Law一直是AI实验室规划百万美元级训练预算的核心工具。它帮助团队通过小规模pilot实验外推大模型在更大规模下的性能表现。但拟合这些Scaling Law本身往往需要大量实验，成本动辄百万级。arXiv上最新论文将这一过程形式化为预算感知的序贯实验设计，通过不确定性感知的主动选择，在多样基准任务上仅用约10%的总训练预算，就接近了全集拟合的性能。

arXiv这篇工作将scaling law拟合重新定义为预算感知的顺序实验设计问题。给定一个包含异构成本的候选实验池，目标不是一次性跑全集，而是通过顺序决策，优先选择那些能最大化高成本目标区域预测准确性的实验。论文在8个多样化任务、65个scaling law实例上验证，涵盖预训练超参、数据分配、MoE架构等场景，结果显示该方法在1%预算时已优于多数基线，到5%-10%预算时接近全集拟合效果。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

这一方法的反直觉价值在于，它不是简单“砍预算”，而是让有限资源流向真正影响决策的实验。在高预算团队看来，它提供更精细的分配策略；对中小团队，则显著降低了 Scaling Law 预研门槛。但盆估计准确性、实际成本建模精度等因素仍会影响效果，数据支持这个方向，但样本量和场景多样性有限，值得持续跟踪，现在下结论为时尚早。

一篇最新arXiv论文直面这一痛点，将Scaling Law拟合重新表述为预算感知的顺序实验设计问题。给定有限候选实验池，且各实验成本异质，目标是在预算约束下优先选择那些最能提升高成本目标区域外推准确性的实验。论文指出，经典基线如随机选择、最便宜优先或D-opt/V-opt准则，要么忽视成本差异，要么仅关注参数不确定性，而非真正关心的目标区域预测误差。

然而，非线性Scaling Law中普遍存在的多盆地问题让这种策略的效率大打折扣。从不同参数初始化出发，拟合可能收敛到多个局部最优“盆地”，它们在低成本区域表现接近，但在外推到目标高成本区时行为差异显著。arXiv新论文《Spend Less, Fit Better》指出，这类弱可识别方向会导致外推误差放大，传统随机堆实验往往在预算上事倍功半。

然而，需要特别强调的是，真实商业世界和组织竞争的实际演化路径、结果分布特征、黑天鹅事件发生概率以及非线性反馈机制，往往远比任何学术理论框架、顶级咨询公司报告、简化数学或仿真模型、甚至是精心包装的成功案例分享所描绘的“理想化”或“事后完美”图景，要复杂得多、动态得多、充满各种意外转折和多重反馈环路得多。在可见的技术工具、产品功能或短期指标层面的快速迭代和进步之外，组织内部跨团队、跨层级、跨职能的协同效率高低、执行文化氛围的强弱厚薄、决策机制在科学性与灵活性之间的动态平衡设计、以及资源在不同战略优先级、不同时间 horizon 之间的动态优化配置逻辑等一系列看似“软性”、但实际极为基础和关键的组织能力因素，通常会在中长期（一年以上）的激烈竞争过程中，发挥出远比短期内可见的技术领先优势、产品功能差异或单一指标领先更为基础性、更为持久性、甚至在很多关键转折点上具有决定性影响和长期杠杆作用。