量化是大模型部署工程中降本增效的核心手段之一。从 FP16 到 INT8 再到 INT4，每一次精度降低都在压缩存储和计算需求，但代价是精度损失——直到 NVFP4 出现，这个权衡的边界被进一步推移。 NVFP4 是 NVIDIA 为 Blackwell 架构设计的 4 位浮点格式，与 INT4 的关键区别在于保留了指数位，对异常值和分布尾端更友好。这使得 NVFP4 在保持低位宽的同时，能够比 INT4 更好地捕捉权重分布的细节。 在 Nemotron 3 Ultra 550B 上，NVFP4 量化实现的具体数字是：3.2 倍压缩比，decode 吞吐提升 5.9 倍，而在 NVIDIA 内部基准上恢复率达到 98.5%（自报）。5.9 倍吞吐提升是一个相当激进的数字——在同等硬件上，每秒可以处理近 6 倍的 token 输出，这对需要低延迟响应的推理服务意义显著。 98.5% 的基准恢复率是自报数据，需要关注测试集的覆盖范围。NVIDIA 使用的通常是内部评测集和公开基准的组合，但具体哪些任务、哪些领域纳入统计，会直接影响这个数字的代表性。在特定领域（如代码、数学）的量化损失可能比全局平均值更高。 从部署实践来看，550B 模型的 NVFP4 版本将原本需要 4-8 张 H100 的部署需求压缩至 1-2 张，或者允许在同等硬件上部署更大的模型。这对于没有大规模 GPU 集群但需要高质量推理服务的团队，是实质性的门槛降低。 局限方面：NVFP4 目前依赖 Blackwell 架构（H100 及以上），Ampere 用户无法直接受益。此外，量化方法本身需要使用 NVIDIA Model Optimizer 工具链，引入了额外的工程依赖。