大模型 Scaling 法则：参数、数据、算力加到哪最划算，一次讲清

训模型最怕的不是没钱，而是把钱花错地方。同样的预算，有人参数翻倍效果平平，有人数据加三成指标大涨。这篇把 Scaling 的三条扩展方向和收益规律讲清楚，帮你在选型和训练时少交学费。

先说结论：三个方向里，短板决定收益。模型参数、训练数据、算力投入三者是乘法关系，哪块最短补哪块最赚。很多团队死磕参数量，数据却又脏又少，结果就是大马拉小车。动手之前先做一次小规模试探：固定两个变量，只动第三个，看指标涨幅，涨得最猛的就是你的短板。

参数扩展的收益是先陡后平。几亿到几十亿这个区间，每翻一倍都能感到明显变聪明；过了某个点，同样的钱换来的提升越来越薄，还附带推理变慢、显存翻倍的代价。所以选型别只盯最大那个，先问自己的场景要不要那最后几个点的提升，要就加，不要就把钱留给数据和评测。

数据扩展是最容易被低估的一条。同样参数下，干净、多样、和任务对得上的数据，涨点经常超过加参数。做法上记住三件事：去重和清洗优先于堆量，难例和长尾优先于重复灌水，评测集和训练分布对齐优先于刷榜。数据做好了，小模型也能在自家任务上打败大模型，这事已经被验证过很多次。

训练配置是把前两者的投入真正变成绩的关键。学习率、批量大小、训练步数的配合，决定了 scaling 曲线能不能爬上去。实用建议是：小模型上先扫出稳定的配置区间，再等比放大；每一次放大都留一份训练日志和中间检查点，方便回头定位是数据问题还是配置问题。配置不稳时加的每一分算力，都可能白烧。

落地三步走：第一步，用最小的预算跑三组对照，找到你的短板；第二步，把大头预算压在短板上，留一成做评测和难例挖掘；第三步，模型上线后继续拿真实坏案例回流数据，这比下一次加参数便宜得多。记住，Scaling 拼的不是谁更大，而是谁的每一分钱都花在短板上。 来源｜博客园 GlenTt《大语言模型的 Scaling：扩展方向、收益规律与训练配置》，https://www.cnblogs.com/GlenTt/p/23197545.html