AI 缩放定律：大力出奇迹，但奇迹越来越贵

Scaling Laws — 用幂律解释 AI 军备竞赛的数学本质

什么是缩放定律？

2020年，OpenAI 发现了一个惊人规律：AI 模型的性能（Loss）与参数量、数据量、算力之间存在严格的幂律关系。 就像物理定律一样精确——多投入 10 倍算力，Loss 下降幅度是可以预测的。

公式：Loss ∝ N-0.34（N = 参数量）  |  Loss ∝ C-0.05（C = 算力）

注意坐标轴是对数刻度。在对数坐标下，幂律关系变成一条直线——这正是它被称为「定律」的原因：无论模型大小，这条线从未弯曲。
翻倍收益递减：为什么越来越贵

参数量每翻一倍，Loss 下降的绝对量越来越小，但百分比大致相同。 这就是为什么从 GPT-2 到 GPT-3 感觉是质变，但从 GPT-4 到 GPT-5 却越来越难感知差距。

0.34
绝对收益（越来越小）
百分比收益（大致稳定）
涌现能力：量变引发质变

并非所有能力都平滑提升。某些能力在参数量达到临界阈值前几乎为零，之后突然「涌现」。 这解释了为什么大模型会突然「学会」做算术、写代码、甚至推理——不是渐进的，是跃迁式的。

50亿
涌现能力让 AI 研究充满不确定性：你无法通过小模型实验预测大模型会「突然学会」什么。 这也是为什么各家公司都在疯狂堆参数——没人知道下一个涌现点在哪里。
效率前沿：DeepSeek 为什么震惊世界

横轴是训练算力（FLOPs），纵轴是综合性能分数。 右上角是「暴力堆算力」路线，左上角是「高效率」路线。 DeepSeek-R1 用极少的算力达到了接近 GPT-4 的性能，打破了「大力出奇迹」的线性预期。

算力需求预测器

根据缩放定律，从当前性能提升到目标性能，需要多少倍的算力？

80
90