LeCun讨论架构重要性下降，数据计算是关键

《信息瓶颈》新一期节目上线，本期嘉宾是普林斯顿的@liuzhuang1234。
我们聊了ConvNeXt以及架构是否仍然重要；数据集偏差以及“好数据”到底什么样；ImageBind以及为什么视觉是跨模态的自然桥梁；CLIP的盲点；记忆作为Agent炒作背后的真正瓶颈；LLM是否具有世界模型；以及无归一化的Transformer。
多年来，视觉社区一直在争论到底什么才是重要的：架构、归纳偏置、自注意力 vs 卷积。经过大量反复讨论，我们最终来到了一个有趣的位置：一旦你调整好细节，ViT和ConvNet的性能大致相同。
我发现有趣的是，一旦达到某个性能水平，交换和调整组件变得容易得多，而不会真正改变结果。
在这一集里与Zhuang交谈时，我一直在想，对于LLM来说，现在是否也是如此。如果我们今天花大量时间研究替代架构，你最终会得到一个有实质差异的模型，还是只是通过额外步骤到达同一个帕累托曲线？
我开始怀疑是后者。架构的重要性低于我们的想象。数据、计算和少数几个支柱承担了大部分工作。