动态

讨论循环transformer技术及Astra模型,认为架构调整微小。

宝玉
RT @turingbook: 循环深度或者looped transformer其实不是太新的技术,而且可能并不是那么重要。参考大模型架构专家、图灵作者《从零构建大模型》作者 @rasbt 的帖子:https://t.co/8oLxwC2SAU 主要结论是:“Astra 可能是一个非常好的模型,但这应该和循环transformer关系不大,这只是一个微小的架构调整。”
动态宝玉2026-09-05原文

相关内容