在2023年全球超算大会(SC2023)上,芯片巨头英伟达发布了H200芯片,这是其继任者,也是目前世界最强的AI芯片。相较于前任产品H100,H200的性能直接提升了60%到90%。这两款芯片都是基于英伟达Hopper架构打造,这意味着它们可以互相兼容。
H200还是英伟达首款使用HBM3e内存的芯片,它的速度更快容量更大,更适合用于大语言模型的训练或者推理。此外,它还拥有141GB的内存容量和4.8TB/s的带宽。主要体现在大模型推理表现上,H200在700亿参数的Llama2大模型上的推理速度比H100快了一倍,并且在推理能耗方面也降低了50%。
对于显存密集型HPC应用而言,H200更高的显存带宽能够确保高效地访问操作数据。与CPU相比,在获得结果的时间最多可提升110倍。预计将于2024年第二季度出货,售价还未公布。
随着算力荒的到来,大科技公司们估计还是会疯狂囤货这款超高性能AI芯片。
本文属于原创文章,如若转载,请注明来源:世界最强AI芯片来了!英伟达发布H200:性能直接提升60-90%https://news.zol.com.cn/841/8419847.html