在2023年全球超算大会（SC2023）上，芯片巨头英伟达（NVIDIA）发布了H100芯片的继任者，也是目前世界最强的AI芯片——H200。
相比于其前任产品H100，H200的性能直接提升了60%到90%。
不仅如此，H200与H100一样都是基于英伟达Hopper架构打造，这也意味着两款芯片可以互相兼容，对于使用H100企业而言，可以无缝更换成最新的H200。
同时H200还是英伟达首款使用HBM3e内存的芯片，速度更快容量更大，更适合用于大语言模型的训练或者推理。
除了HBM3e内存外，H200的内存容量为141GB，带宽从H100的3.35TB/s增加到了4.8TB/s。
H200的性能提升最主要体现在大模型推理表现上，H200 在700亿参数的Llama2大模型上的推理速度比H100快了一倍，而且在推理能耗上H200相比H100直接降低了一半。
对于显存密集型HPC应用，H200更高的显存带宽能够确保高效地访问操作数据，与CPU相比，获得结果的时间最多可提升110倍。
英伟达表示H200预计将于2024年第二季度出货，售价还暂未公布，不过在算力荒下，大科技公司们估计还是会疯狂囤货。
Source :
