研究发现：小Transformer靠减少CoT步骤反而提升乘法性能
反对“CoT忠实性”的又一证据——小Transformer在训练时若停止依赖显式CoT步骤，反而在乘法任务上表现更好。在前沿规模训练中，隐藏思维回路可能自发涌现，并因效果更佳而被选中。
来自MIT+哈佛+@GoogleDeepMind的精彩论文👏
解释了为何Transformer在多位乘法上表现不佳，并展示了一个简单的偏置方法来解决。
研究人员在4位乘4位乘法上训练了两个小型Transformer模型。
其中一个使用了特殊的训练方法 https://t.co/bNdEteIMIG