LeCun认为仅扩展Transformer无法达到人类级AI。
这个想法正从多个方面汇聚。
基于Transformer的LLM不会带我们走向人类级别的AI。
那是著名的Yann LeCun访谈。
“我们不会仅仅通过扩展MLM就达到人类级别的AI。这根本不会发生。不可能。绝对不可能。不管你从我一些更冒险的同事那里听到什么，在未来两年内都不会发生。
绝对不可能。你知道那种我们会在数据中心里拥有一个天才国家的想法，完全是胡说八道。我们可能会拥有的系统，是在大量数据上训练出来的，以至于任何合理的人可能问的任何问题，都能通过这些系统找到答案，感觉就像你身边坐着一个博士，但并不是一个真正的博士。
那是一个拥有巨大记忆和检索能力的系统，而不是一个能够为新问题发明解决方案的系统，而这正是博士真正的含义。”
--------
来自“Alex Kantrowitz”YouTube频道（完整视频链接在评论中）
基于Transformer的LLM不会带我们走向人类级别的AI。
那是著名的Yann LeCun访谈。
“我们不会仅仅通过扩展MLM就达到人类级别的AI。这根本不会发生。不可能。绝对不可能。不管你从我一些更冒险的同事那里听到什么，在未来两年内都不会发生。
绝对不可能。你知道那种我们会在数据中心里拥有一个天才国家的想法，完全是胡说八道。我们可能会拥有的系统，是在大量数据上训练出来的，以至于任何合理的人可能问的任何问题，都能通过这些系统找到答案，感觉就像你身边坐着一个博士，但并不是一个真正的博士。
那是一个拥有巨大记忆和检索能力的系统，而不是一个能够为新问题发明解决方案的系统，而这正是博士真正的含义。”
--------
来自“Alex Kantrowitz”YouTube频道（完整视频链接在评论中）
Fei-Fei Li (@drfeifei) 关于LLM局限性的评论。
“自然界中没有语言。你走进大自然，天空中不会有写好的文字为你准备……那里有一个遵循物理定律的3D世界。”
语言纯粹是生成的信号。
https://t.co/FOomRpGTad