开源Ling-3.0系列6个基座模型检查点,支持预训练微调
转推 @AntLingAGI: 🧵 我们开源了Ling-3.0-tiny和Ling-3.0-flash的6个基座模型检查点,覆盖预训练、中期训练和WSM合并阶段。均未进行后训练,为研究者提供持续预训练、微调和进一步研究的灵活起点。
两个关键亮点:
- 我们用WSM取代LR衰减,用加权检查点合并,使训练过程更适合持续预训练,同时可离线探索不同LR衰减策略。
- 通过一个共享训练配方,社区可以在tiny-base上验证策略,然后扩展到flash-base。
两个关键亮点:
- 我们用WSM取代LR衰减,用加权检查点合并,使训练过程更适合持续预训练,同时可离线探索不同LR衰减策略。
- 通过一个共享训练配方,社区可以在tiny-base上验证策略,然后扩展到flash-base。