英伟达发布 AI 芯片 H200

英伟达昨晚正式发布了 AI 芯片 H100 GPU 的后续产品 HGX H200 GPU，可大幅提高大语言模型的能力。

据悉，HGX H200 GPU 基于英伟达的“Hopper”架构，相比前代产品内存带宽增加了1.4倍，内存容量增加了1.8倍。H200 GPU使用了HBM3e 内存的芯片，能够以每秒 4.8 TB 的速度提供 141GB 的内存。

英伟达表示，H200更大、更快的内存可加快生成式人工智能和大语言模型的速度，与 H100 GPU 相比，H200 在处理 Llama2 等大语言模型时可将推理速度提高 2 倍。

H200 还与已经支持 H100 的系统兼容。英伟达表示，客户在添加H200时不需要做任何改动。亚马逊、谷歌、微软和甲骨文的云计算部门将在明年率先使用到新的 GPU。

预计H200将于2024年第二季度上市，届时将与AMD的MI300X GPU展开竞争。与H200相似，AMD的新芯片相比前代产品拥有更多内存，这对运行大型语言模型的推理计算有帮助。

据美国金融机构Raymond James透露，H100芯片的成本仅为3320美元，但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%，成为有史以来最赚钱的芯片之一。

在训练大型语言模型时，通常需要数千个H100集群协同工作，因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。

由于对其产品的需求看似无穷无尽，英伟达今年的销售额大幅增长，股价上涨了230%，市值突破了1.2万亿美元大关。截至周一收盘，该股收涨0.59%，报486.2美元。