跳到正文
财联社电报·· 2 小时前同事件AI 评分85

英伟达推出Vera Rubin平台AI内存全栈协同设计方案

英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍

AI 导读

英伟达发布AI内存全栈协同设计方案,通过NVFP4低精度格式压缩模型权重和KV Cache,将不活跃上下文转移至低成本存储层,并利用多GPU分布式部署释放HBM空间。Vera Rubin NVL72平台相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。

同一件事,精选收录的是《NVIDIA 推出全栈协同设计解决AI内存挑战》

来源:财联社电报 · cls.cn