Marin项目展示开放模型训练，感谢开源实验室方法
在捍卫AI开放性的斗争中，Marin项目是模型训练开放性的宝贵示范，公开了代码、数据、配方甚至实验结果。公开AI研究曾经是常态；我感谢@percyliang的开放实验室方法。
🚢 Marin 535B-A23B本周开始训练！像往常一样，整个过程都是开放的。航行计划：在11个GB200 NVL72上预训练（80%）+中间训练（20%）18.75T tokens，约3个月（2.7e24 FLOPs）。之后将进行后训练。在启动运行之前，我们训练了4级https://t.co/M3FwIy56Ot