机器会有智能吗？
本集从认知科学与工程实践出发，比较Transformer架构与人脑的学习机制，揭示当前AI在持续学习效率上的根本局限。
嘉宾Subutai Ahmad、Nicolò Fusi
话题脉络
- 3:31AI与认知科学
我从贝叶斯非参数主义转向计算机科学，认知科学改变了对AI的看法，理解大脑对构建智能至关重要。
Fusi - 5:17皮层柱与Numenta
大脑皮层柱是一个完整的感觉运动处理系统，每个柱独立学习世界模型，Numenta据此开发AI架构。
Ahmad - 8:47Transformer注意力机制
注意力层捕获单词间关系（如“狗”与“跳”），是Transformer的核心模块，类似大脑的注意力但更粗糙。
Burger - 12:16信息处理对比
Transformer不断添加高层信息但不丢弃底层，这与大脑的层级处理类似，但实现细节不同。
Fusi - 17:29皮层柱vs Transformer
皮层柱是重复的复杂结构，每个柱独立处理；Transformer是通过堆叠注意力块，两者都利用稀疏表示。
Ahmad - 24:27进化与缩放
进化发现皮层柱高效，哺乳动物通过增加柱子数量而非改变基本单元来提升智能，而非盲目扩大模型。
Ahmad - 26:11预测与运动
大脑不断预测感觉输入并主动运动验证，这比LLM的静态预测更灵活，能处理桌子底面等未见情形。
Ahmad - 31:32突触可塑性
大脑中30%的突触每四天更换一次，实现持续学习；LLM训练后权重固定，缺乏这种动态调整能力。
Ahmad - 35:00压缩与预训练
预训练语言模型本质上是无损压缩器，通过next-token prediction最小化编码长度，这与信息论紧密相关。
Fusi - 45:33LLM低效率
Transformer的注意力机制n²计算极其低效，大脑通过稀疏表示和局部连接实现超低功耗。
Ahmad - 55:59未来AI架构
应设计数字皮层柱，融合稀疏表示和感觉运动，而非简单缩放Transformer，需从硬件到算法底层重构。
Ahmad - 1:01:19超级智能与AGI
AI在某些领域超人类（如模式识别），但缺乏常识和世界模型，实现AGI需理解意识与主动学习机制。
Fusi
节目简介
两位AI研究员与主持人共话Transformer与人脑的对比：讨论持续学习（模型在部署后继续适应新数据的能力）、效率（能量和计算消耗）等核心差异，并追问当前的大语言模型是否走在通往人类智能的正确道路上。