NVIDIA推出全栈协同设计解决AI内存挑战

2026年11月6日，NVIDIA通过其官方博客发布全栈协同设计方法，旨在解决AI内存挑战。该方案通过优化GPU、CPU、网络、存储和软件，提升内存使用效率。在Blackwell Ultra到Vera Rubin平台中，每GPU HBM容量增长约3%，智能体吞吐量每美元提升最高达30倍。方法包括模型权重压缩、KV缓存优化和RAG数据管理，有效缓解内存压力。财联社随后报道，英伟达发布AI内存全栈协同设计方案，通过NVFP4低精度格式压缩模型权重和KV Cache，将不活跃上下文转移至低成本存储层，并利用多GPU分布式部署释放HBM空间。Vera Rubin NVL72平台相较GB300 NVL72，单位成本推理吞吐量最高提升30倍，而单GPU HBM容量仅增加约3%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。