用少量低成本实验精准预测大型AI模型性能：主动实验选择实用指南

保持开放心态和持续跟踪，是应对不确定性的最好策略。

论文的核心方法将scaling law拟合重构为预算感知的顺序实验设计。给定一池成本各异的候选实验，它采用不确定性感知的采集策略，通过分解目标区域的均方预测误差（MSPE）为盆地内方差和盆地间分歧，再结合成本惩罚项构造cost-aware score，优先选择那些性价比最高、能最大化外推准确性的run。顺序执行后更新后验，逐步精炼预测。

为什么这一方法特别适用于学习率与批大小的Scaling探索？因为这两者的交互往往呈现复杂非线性，且在不同模型规模或数据regime下行为差异显著。传统方法易在廉价低规模区过度采样，而忽略那些揭示高成本目标规律的关键实验。主动选择则通过实时更新不确定性模型，动态调整预算分配方向，避免了常见浪费。我的判断是，这种成本敏感机制让拟合过程从“烧钱试错”转向了更理性的投资，但实际效果仍需在更多工业噪声场景中进一步验证。

在词汇量scaling law的实证中，这一方法展现出显著优势。它先快速化解外推趋势的模糊地带，再细化局部关系，最终支持更高效的tokenization优化和N V D联合关系拟合。论文在多个基准任务上验证，跨65个scaling实例，仅用10%左右预算时，性能已接近全实验集，有些场景下5%预算就让R²达到较高水平。

论文方法论的核心是将拟合过程转为主动、顺序决策。针对词汇量Scaling Law（N V D联合拟合），主动选择先针对“盆地间不确定性”下手，优先挑选能区分不同外推趋势的实验，快速收窄可能拟合的空间；随后再精炼盆地内部方差，实现对目标区域更精准的预测。基准测试显示，在多个Scaling任务上，仅用约10%总训练预算即可接近全实验集的外推性能，尤其在词汇相关场景中优势显著。

主流观点的盲区在于，忽略了低预算条件下对目标高成本区域的针对性选择。很多人以为均匀撒点或优先跑便宜实验就能覆盖全貌，但实际外推误差往往集中在那些真正值钱的规模区间。新方法恰恰填补了这个空白，它不追求数据量的简单堆积，而是问一个更务实的问题：在有限预算内，哪些实验最能降低目标区域的预测不确定性。

方法的关键在于引入基于目标区域不确定性的采集函数。传统采集仅关注参数空间的不确定性，而论文强调真正重要的是目标区域的均方预测误差（MSPE），并将其分解为盆内不确定性和盆间不确定性。采集函数优先选择那些能同时降低这两种不确定性的实验，同时以成本进行惩罚，避免高价低信息实验占据预算。数据支持这个方向，但样本量仍需更多验证。

过去大多数从业者默认，要可靠外推 Scaling Law，就必须均匀覆盖不同规模的 pilot 实验。主流做法包括随机采样或经典实验设计如 D-optimal，这在预算充裕时勉强可行，却在真实大规模工作流中暴露出预算分配难题。实验成本高度异构，有的 run 只需几小时 GPU，有的却耗时数天；目标区域往往是高成本的大模型配置，却容易被低成本小实验淹没，导致外推到百万级训练时曲线偏差明显。

被动设计的根本问题在于，它没有明确区分“对目标区域外推有用”和“只是填补已知数据”。大量预算因此浪费在信息增益有限的实验上，而真正能降低高成本目标区域不确定性的高价值试点却被错过。在工业级规模下，这一点尤为突出：pilot runs的资源消耗已达百万美元级别，全流程拟合加验证远超预期。

一篇最新arXiv论文《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》直击这一痛点。作者团队将Scaling Law拟合重新表述为预算感知的顺序实验设计问题：给定有限候选实验池（成本异质），目标是在预算限制下选择执行哪些实验，以最大化高成本目标区域的外推准确性。

论文提出的不确定性感知预算分配策略，将参数后验近似为多个“盆地”的混合高斯分布，这些盆地代表不同的局部趋势和外推行为。每次迭代中，算法计算每个候选实验对减少目标区域均方预测误差的贡献，同时除以其成本，优先挑选性价比最高的低成本点。这一过程自适应：早期侧重消除不同外推假设间的分歧，后期则聚焦精炼局部趋势。

区别在于，部分团队选择了更务实的切入点，从而避免了最常见的陷阱。