IBM推出CPO光学技术!用光提升AI大模型:训练时长从3个月缩短至3周、能耗降低5倍!

Amanda
1739519559 ihk2srbljjvbezoegs9y

就在近日,IBM 宣布推出了一项光学技术 —— 封装光学(co-packaged optics,CPO),实现用光替代电让数据中心的内部进行高速连接,借此补充现有的短距离电缆连接的同时并用于生成式 AI 模型的训练上!

根据 IBM 官方介绍称,这项 CPO 技术是通过开发全新的聚合物光波导(PWG),让光学技术替代传统的电缆,并从中大幅提升芯片间数据传输速度。

IBM 官方有指,目前光纤技术其实已经广泛应用在长距离高速数据传输上,且主要用于全球的商业和通信流量;但是在数据中心里,机架之间的通信仍然主要依赖基于铜材质的电缆。不过,这些电缆连接的 GPU 加速器可能有超过一半的时间处于闲置状态,因为在分布式训练过程中需等待来自其他设备的数据,所以会导致高昂的成本和能源消耗。

有鉴于此,IBM 官方所推出的 CPO 新技术能够实现高速光学连接,提高了数据中心通信的带宽的同时,还能减少 GPU 的闲置时间,同时也大幅加速了 AI 处理。

Testing IBM optics module in lab

CPO 技术亮点

  • 降低生成式AI的扩展成本 = 相比传统电缆连接,CPO 技术的能耗降低超 5 倍,数据传输距离从几米扩展至数百米
  • 更快的AI模型训练 = 开发人员使用 CPO 技术训练一个大型语言模型(LLM)的时间可从 3 个月缩短至 3 周,速度提升约 5 倍
  • 节约能源 = 每完成一个 AI 模型训练,可节省相当于 5,000 户美国家庭全年用电量的能源

带宽提升 80 倍

IBM 官方有指,CPO技术旨在通过增加芯片间的光学路径,实现加速器之间的连接密度扩展,突破当前电气路径的限制,把芯片间带宽提升至电气连接的 80 倍!

同时,IBM 的创新 CPO 技术还能让芯片制造商可在硅光子芯片的“边缘密度”(beachfront density)上增加当前CPO技术的6倍光纤数量。这些光纤直径约为人类头发宽度的三倍,可覆盖从几厘米到数百米的长度,并以每秒数万亿比特的速度传输数据。

IBM optics module banner

此外,IBM还展示了 18 微米间距的 PWG 技术,并通过堆叠四个 PWG 实现多达 128 通道的连接。这些模块已通过生产所需的所有压力测试,包括高湿度环境下的温度变化(-40°C至125°C)和机械耐久性测试,确保光学互连的弯曲性能不会导致数据丢失。

IBM 官方也强调,CPO 这一技术将为数据中心在处理 AI 工作负载时提供更高效、更可持续的解决方案。

值得注意的是,IBM 的 CPO 技术设计、建模和仿真工作均在纽约州奥尔巴尼完成,该地近期被美国商务部选为美国首个国家半导体技术中心(NSTC)的所在地。另外,原型组装和模块测试则在 IBM 位于加拿大魁北克布罗蒙特的设施完成,该设施是北美最大的芯片封装和测试基地之一。

作为参考目的,IBM 是一家全球领先的混合云与人工智能服务提供商,致力于通过创新帮助客户实现数字化转型。欲知更多详情,可以前往相关页面进行查看。

Source :
Leave a Comment
订阅
通知
guest

0 Comments
内联反馈
查看所有评论
0
希望听到您的想法,请评论x