介绍Spud新基座模型及其开发历程
关于Spud:
“我们的开发流程是预训练。先产出一个新的基座模型,作为后续改进的基础。这始终是整个公司许多人的巨大努力。过去18个月里,我大部分精力都集中在GPU基础设施上,支持负责训练框架的团队进行大规模扩展。
....
所以,我认为Spud是一个新的基座、新的预训练……可以说,这个模型中融入了我们大约两年的研究成果。它将非常令人兴奋,世界将体验到其改进的能力。”
“我们的开发流程是预训练。先产出一个新的基座模型,作为后续改进的基础。这始终是整个公司许多人的巨大努力。过去18个月里,我大部分精力都集中在GPU基础设施上,支持负责训练框架的团队进行大规模扩展。
....
所以,我认为Spud是一个新的基座、新的预训练……可以说,这个模型中融入了我们大约两年的研究成果。它将非常令人兴奋,世界将体验到其改进的能力。”