刚刚英伟达完成了一件很多人以为做不了的事。
他们用4bit精度，在10万亿tokens上，预训练了一个12B参数的大语言模型。
其实预训练方向一直陷入停滞很久了，过去几年，预训练基本被16bit和8bit统治。
你可以在推理阶段做4bit量化，可以省显存，可以让模型跑得更便宜。
但真拿4bit去做预训练，就是另一回事。
训练不是把模型压小然后跑起来。
训练是每一步都要算梯度，每一步都要更新参数，每一步都可能被数值误差放大。
精度降太狠，loss会飘，梯度会偏，它会变得不稳定，自己“幻觉”出错误的计算，最终崩溃。
但英伟达证明了“不可能”只是一个数学问。
他们使用了一种名为 NVFP4 的新格式，与标准结构不同，NVFP4 采用“微缩放”。
它不是粗暴地把所有数字砍成4bit，而是把数字切成很小的block，给每一小块单独配scale。
你可以理解成，以前是一把尺子量一整间屋子，现在是每一小格都有自己的尺子。
其结果是一次彻底的范式转变：
性能提升 2× 到 3×
内存使用减少 50%
最重要的是智能几乎无损
研究人员将该 4 位模型与庞大的 8 位基线进行了比较。曲线完全一致。
在 MMLU、GSM8K 和编程基准测试中，“微小”4 位版本的表现与更昂贵的模型相差不到 0.1%。
当然，它不是整个模型从头到尾全部纯4bit。
embedding、norm、attention相关部分、optimizer states这些地方，仍然有高精度保留。
但最重的那部分linear GEMM，已经可以被NVFP4接管，而且模型没有炸。
训练一个前沿模型过去需要数万块 GPU 和数月时间。NVIDIA 刚刚证明我们可以用一半的硬件和极少的电力得到相同的结果。
这对整个行业的意义很简单：
大模型训练不会因为算力贵就停下来。
英伟达正在把那张训练账单，一刀一刀往下切。
这会是一个非常颠覆的事情。
Paper：https://arxiv.org/abs/2509.25149
@aigc1024
