10%预算拟合Scaling Law：新方法让百万级实验预算缩水90%

防守稳盘的讨论，逐渐从“能不能做”转向“怎么做更好”。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

论文提出的不确定性感知预算分配策略，将参数后验近似为多个“盆地”的混合高斯分布，这些盆地代表不同的局部趋势和外推行为。每次迭代中，算法计算每个候选实验对减少目标区域均方预测误差的贡献，同时除以其成本，优先挑选性价比最高的低成本点。这一过程自适应：早期侧重消除不同外推假设间的分歧，后期则聚焦精炼局部趋势。

我的判断是，这套思路对资源有限的创业团队尤其实用——它把试点阶段从“烧钱试错”转向“信息最大化采集”。当然，计算后验本身会带来额外开销，对于候选池特别大的场景，还需要工程层面的近似优化。但论文已开放代码实现，团队可以结合自身成本代理和目标区域定义快速上手。值得持续跟踪的是，当更多架构变体和后训练阶段纳入scaling分析后，这类主动方法是否还能保持类似效率增益，现在下结论或许还早。

值得持续跟踪的是，如果目标区域锁定在极端大规模模型，这种方法的收益是否会进一步放大；或者在预算极度受限的场景下，其优势又会如何体现。数据支持这个方向，但样本量仍在积累中。

大多数从业者和媒体对Scaling Law的认知还停留在“多跑pilot就能外推准”的阶段。主流做法是随机采样或采用经典实验设计如D-optimal，这些方法在预算充裕时勉强可用，但真实大规模工作流中暴露明显短板。实验成本高度异构，有的run只需几小时GPU，有的却要几天；目标区域往往是高成本的大模型配置，却容易被低成本小实验淹没。结果就是预算分配难题：钱花了，外推到百万级训练时的曲线偏差却依然明显。

有意思的是，这一方法在1%预算下已在部分任务（如学习率与批大小Scaling）进入低损失区域，而10%预算时R²值常能达到0.93左右，与全数据拟合相当接近。这并非简单贪心，而是通过目标区域感知的采集函数，实现从全局歧义到局部优化的平滑过渡。数据支持这一方向，但样本基准的多样性仍需持续验证。

论文的核心洞见在于重构拟合流程为budget-aware sequential design，不再追求均匀覆盖实验空间，而是让采集函数动态引导预算流向信息增益最高的run。这种uncertainty-aware策略特别契合MoE的多维度scaling——总参数N、激活参数Na、专家数E、粒度G、数据集D相互交织，成本差异巨大。主动选择机制能更精准捕捉MoE特有的关系曲线，避免传统方法在高成本target region的预测偏差。

主动实验选择本质上不是简单省掉实验次数，而是让每一次跑点都精准击中“大模型该配多大vocab”的决策痛点。传统方式常在无关低成本区域浪费资源，而新方法通过不确定性感知的顺序分配，让有限预算产生更高信息增益。在词汇量scaling law拟合中，这一转变尤为关键，因为vocab与N、D的交互非线性强，盲目试点容易错过最优tokenization路径。

这一发现对大模型团队的意义在于，scaling law拟合不再是不可控的前置巨额开销，而是可通过智能实验选择实现优化的杠杆。团队只需明确目标区域、准备候选池并估算成本代理，便能让有限预算发挥接近全集的效果。当然，方法仍依赖候选池质量和成本可预估性，在完全开放的早期探索阶段可能需结合人工判断，但其在工业规划场景下的优势已足够清晰。值得持续跟踪的是，当实验池规模进一步扩大时，这一预算感知机制的边界会如何演进。

新方法的核心是不确定性感知的主动选择策略。它将参数不确定性建模为高斯混合近似，捕捉多个局部最优盆地。每次迭代基于当前数据集计算每个候选实验对目标区域均方预测误差的预期减少量，同时除以成本的α次方实现归一化，从而优先挑选单位成本下最能降低目标不确定性的实验。这个过程早期侧重解决全局盆地模糊性，后期转向精炼局部趋势，恰好契合预算受限场景。

“谁有1元1分跑的快群”_谁有1元1分跑的快群宿迁论坛带来的流量提升，并非一蹴而就，而是持续小步快跑的结果。