为什么AI需要一种新型超算网络(Ep. 18)
OpenAI联合多家硬件巨头推出新型网络协议MRC,解决超大规模GPU训练中的通信瓶颈,并开源推动标准化。
嘉宾Mark Handley、Greg Steinbrecher
节目简介
训练前沿模型不只是堆GPU,网络拥塞或故障会让整个集群空转。OpenAI的Mark Handley和Greg Steinbrecher详解了Multipath Reliable Connection(一种多路径可靠传输协议,能绕过故障并保持GPU同步),该协议由OpenAI与AMD、Broadcom、Intel、Microsoft、Nvidia联合开发,现已开放为行业标准。