英伟达发布 AI 芯片 H200
英伟达昨晚正式发布了 AI 芯片 H100 GPU 的后续产品 HGX H200 GPU,可大幅提高大语言模型的能力。 据悉,HGX H200 GPU 基于英伟达的“Hopper”架构,相比前代产品内存带宽增加了1.4倍,内存容量增加了1.8倍。H200 GPU使用了HBM3e 内存的芯片,能够以每秒 4.8 TB 的速度提供 141GB 的内存。 英伟达表示,H200更大、更快的内存可加快生成式人工智能和大语言模型的速度,与 H100 GPU 相比,H200 在处理 Llama2 等大语言模型时可将推理速度提高 2 倍。 H200 还与已经支持 H100 的系统兼容。英伟达表示,客户在添加H200时不需要做任何改动。亚马逊、谷歌、微软和甲骨文的云计算部门将在明年率先使用到新的 GPU。 预计H200将于2024年第二季度上市,届时将与AMD的MI300X GPU展开竞争。与H200相似,AMD的新芯片相比前代产品拥有更多内存,这对运行大型语言模型的推理计算有帮助。 据美国金融机构Raymond James透露,H100芯片的成本仅为3320美元,但英伟达对其客户的批量价格却高达2.5...