AI时代触发大洗牌?黄仁勋:GPU训练AI语言模型 相比CPU可降低96%成本

0
NVIDIA CP 1

快科技5月29日消息,在刚刚召开的2023年台北电脑展上,NVIDIA首席执行官黄仁勋进行了演讲。

黄仁勋

在演讲中,黄仁勋向传统的CPU服务器集群发起“挑战”,认为在人工智能和加速计算这一未来方向上,GPU服务器有着更为强大的优势。

s 6dc434cc6640432097849e2ac7cda7d2

根据黄仁勋在演讲上展示的范例,训练一个LLM大语言模型,将需要960个CPU组成的服务器集群,这将耗费大约1000万美元(约合人民币7070万元),并消耗11千兆瓦时的电力。

s 7a5792ce0c864e9c9d52022b9dd607d2

相比之下,同样以1000万美元的成本去组建GPU服务器集群,将以仅3.2千兆瓦时的电力消耗,训练44个LLM大模型。

如果同样消耗11千兆瓦时的电量,那么GPU服务器集群能够实现150倍的加速,训练150个LLM大模型,且占地面积更小。

LLM AI 1

而当用户仅仅想训练一个LLM大模型时,则只需要一个40万美元左右,消耗0.13千兆瓦时电力的GPU服务器即可。

NVIDIA GeForce MX350

换言之,相比CPU服务器,GPU服务器能够以4%的成本和1.2%的电力消耗来训练一个LLM,这将带来巨大的成本节省。

(本文授权转载自合作伙伴快科技)

Source :
nvidia

About author

啊晖

以前喜欢手机,之后喜欢上折叠机,接着再喜欢上电动车🚗

订阅
通知
guest

0 Comments
内联反馈
查看所有评论
0
希望听到您的想法,请评论x