转推讨论前沿模型用48层Transformer循环两次,以及DeepLoop的深度扩展方案
@dotey openai可能是2次循环loop
字节可能是4次循环loop
https://t.co/AnVCuC6nS4
字节可能是4次循环loop
https://t.co/AnVCuC6nS4
听说一些前沿模型基本上是 48 层 Transformer 循环两次(48L x 2)。
现在我们推出 DeepLoop:面向循环 Transformer 的深度扩展(https://t.co/jtxllo9aFF),让循环 Transformer 变得稳定且可扩展!https://t.co/Js8Zy96MqY