英伟达Vera Rubin:HBM增3%吞吐升30倍
英伟达发布了一份来自SemiAnalysis的深度测试报告:在相同的Agentic AI工作负载下,采用全新架构设计的Vera Rubin NVL72系统相比GB300 NVL72平台,每美元推理吞吐最高提升了30倍。
关键异常在于,这30倍的跃升并非来自堆砌硬件容量。单GPU的HBM(高带宽存储器)增量仅为约3%。
这是AI算力竞争中的一个分水岭时刻。过去两年,市场习惯了“容量竞赛”叙事——更多HBM意味着更强的性能。而英伟达用全栈协同设计给出了第二种解题思路:不靠扩大水库,而是把每一滴水利用到极致。
从加内存到省内存
HBM是目前AI大模型训练和推理的最大瓶颈之一。模型参数规模从百亿迈向万亿层级后,GPU显存容量成了制约部署密度的硬约束。SK海力士、三星和美光的HBM产能持续紧缺,价格连年走高。
英伟达的选择是在这个逻辑之外开一条路。
核心工具是NVFP4低精度格式。从FP8到FP4,数据位宽被压缩至原来的四分之一,直接释放了模型权重的存储空间。更关键的改变发生在KV Cache上——注意力机制运行产生的中间缓存数据体积缩减后,更多的用户并发会话可以直接驻留在有限的HBM中,而非频繁触发外部读取。
NVFP4不是抽象概念,已有实际落地路径。据英伟达官方博客信息,FLUX。2 Klein、Inkling、Beam 1.0、Meta Muse Spark和Step 5 Preview等模型已发布了NVFP4检查点。这意味着开发者无需从零适配即可获得精度收益。
多GPU分布式部署进一步放大了这一效果。在NVL72系统中,模型权重可横跨72块GPU分布存储,单张卡的权重负担减轻,腾出的HBM空间转而服务于KV Cache和用户并发请求。
这不是简单的软件优化,而是从芯片、互连到存储的重新设计。
“暂停”上下文去哪了?
如果显存有限,那超出容量的上下文怎么办?英伟达的方案是分两层卸载。
第一层指向CPU内存。Vera Rubin搭载的定制CPU拥有大容量LPDDR内存通道。Dynamo推理软件可以快速识别当前处于不活跃状态的KV Cache片段,并通过NVLink-C2C互连将其从GPU搬运到邻近的CPU内存区域暂存。当这段上下文再次被需要时,再快速拉回GPU计算。
第二层是更具野心的策略——将非活跃上下文转移到CMX(Context Memory Storage),即上下文存储层。
CMX是一个面向共享场景的成本型存储解决方案。它由Cloudian、DDN、Dell、Everpure/HPE、IBM、NetApp、VAST和WEKA等合作伙伴提供硬件支持,特点是跨服务器共享且不需要传统数据存储系统的长期保护开销。
这套方案的核心逻辑是“Dynamo复用”:一次计算得到的KV Cache在整个系统内可以被多次调用,而不是每个GPU重复计算相同的历史上下文。对于高频Agent对话场景而言,这意味着同一个知识库或用户历史信息不必在每个请求中从头开始处理。
英伟达内部将这个策略概括为“Memory Full-Stack Codesign”——GPU、CPU、网络、存储及软件不再是各自优化的孤岛,而是在同一个预算框架内联动调度。
30倍的商业含义
30这个数字看起来惊人,但理解它的前提条件同样重要。
根据SemiAnalysis的测试方法,30倍吞吐提升来自于Vera Rubin NVL72对比GB300 NVL72在DeepSeek V4 Pro模型的Agentic AI工作负载中,以125 tokens/秒/用户的推理速率进行比较的结果。在此之前,同样的AgentX测试显示GB300相比Hopper H200平台的单位成本吞吐已达10倍。
这条增长曲线背后是一条清晰的演进线:H200 → GB300(10倍)→ Vera Rubin(30倍)。每一代的增长动力正在从“更大显存”转向“更高效率”。
这对行业的影响已经可以部分预判。
HBM供应商方面,SK海力士是当前英伟达的最大供货方,三星和美光紧随其后。过去一年里,三家的HBM产线都在大幅扩张以应对英伟达订单。如果主流推理场景逐步转向英伟达的全栈优化路径而非无限扩容显存,HBM的需求增长速度可能低于市场预期——尤其是对于纯容量维度的增量。
当然,短期内英伟达并不会停止对HBM的采购需求。新一代GPU仍然需要大容量高速存储,只是增速放缓。更重要的是,全栈优化方案引入了新的产业链角色——CMX存储层的8家合作伙伴正从边缘走向核心,这可能催生一个此前不存在的新兴细分市场。
对于AI应用端而言,最直接的好处是推理成本的结构性下降。每美元吞吐量的提升意味着同等算力的服务承载量增加,对依赖大规模并发推理的公司构成利好。这也是为什么英伟达选择在这个节点高调推出该方案——市场需要信心,而30倍的数字足够传递这种信号。
接下来看什么
这篇分析的落脚点不在于判断英伟达是否彻底改变了AI芯片竞争规则,而在于追踪几个可验证的指标:
1。 NVFP4生态 Adoption率:目前发布的6个检查点主要覆盖中小规模和特定领域模型,OpenAI GPT系列、Google Gemini、Anthropic Claude等顶级闭源模型的FP4适配进度将是下一阶段的关键观察点。
2。 CMX存储市场的实际出货量:目前合作伙伴数量已达8家,但谁能成为主流集成商,以及企业数据中心对CMX的实际采购意愿,需要等到首批部署案例公开后才能评判。
3。 Vera Rubin的实际交付时间表:英伟达博客确认了技术路线但尚未公布明确的量产交付日期。客户承诺量和首批云服务商上线节奏直接影响方案落地的速度预期。
4。 HBM三家的战略调整:如果英伟达加速向全栈优化转型,SK海力士和三星是否会同步调整下一代HBM产品的优先级——从追求密度转向追求带宽效率——这将重塑整个存储产业链的价值分配。
30倍的提升确实引人注目,但它的真正意义或许不在于数字本身,而在于证明了一条与行业惯性方向相反的技术路径是可行的。


