Yann LeCun采访思考：LLM成功路径随机，需多样化探索

关于Yann采访的更多思考：即使LLM效果很好，那也错过了重点。现在每个人都在做同样的事情：更大的规模、更多的数据、更长的思维链、调整强化学习。但达到这一点的路径完全是随机的。注意力机制、Transformer、扩展定律、RLHF，没有一个是显而易见的，它们来自尝试完全不同事物的人。如果大家早期就一致同意该往哪个方向走，我们就不会在这里。假设下一个突破来自我们所有人优化相同的配方是危险的。我同意今天的情况确实更加复杂。以前你可以在几块GPU上测试一个疯狂的想法。现在每个严肃的赌注都花费数百万美元的计算资源。这使得探索更加困难，从而使收敛问题更加严重。但正是如此，我们需要更有意识地资助多样化的方法，而不是更少。