提高内存使用效率 英伟达提出AI内存全栈协同设计方案

财联社 11-06 00:06

英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。

具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。

英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。

(文章来源:财联社)

文章来源:财联社
原标题:英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
热点阅读
习近平迎接美国总统特朗普
习近平迎接美国总统特朗普
新华社
英伟达临时CEO称将不再向中国出货H200芯片 外交部回应
英伟达临时CEO称将不再向中国出货H200芯片 外交部回应
新黄河 2987评论
美股三大指数涨跌不一 国际金银价格下挫 美元指数盘中创2025年4月以来最高水平
美股三大指数涨跌不一 国际金银价格下挫 美元指数盘中创2025年4月以来最高水平
东方财富Choice数据 113评论
中际旭创要开启第二波回购:回购金额20亿元—40亿元
中际旭创要开启第二波回购:回购金额20亿元—40亿元
财联社 2550评论
打开东方财富APP查看更多内容
24小时点击排行
从Palantir重塑工作流,到深演智能AI for Growth
操作:开始发力!地量出现,芯片、CPO猛拉,这次真见底了?速度冲啊
H200通道关闭,最硬的一条线不是芯片
收盘观察:五连阴过后,明日阳包阴!
看完英伟达财报,突然不想看A股科技板块了… 差距真的是次元级
点击查看更多内容
写评论 ...