科学工程两种进步方法论:爱迪生式与爱因斯坦式
一般来说,在任何科学或工程领域取得进步都有两种不同的方法论……两者都很重要,都能带来变革性进展。
第一种是“爱迪生式方法”:你暴力枚举一个大型预定义设计空间,保留有效的部分,不必理解它为何有效。这类似于生物进化。几乎所有的深度学习都是这样构建的(尽管论文中有华丽的数学,99%的情况下只是为了好看)。
第二种是“爱因斯坦式方法”:你以自上而下的方式构思大想法,从中推导出精确结果,然后验证这些结果。这需要想象力、好奇心和高抽象思维能力。我想,这是数学家们偏好的进步模式。
第一种是“爱迪生式方法”:你暴力枚举一个大型预定义设计空间,保留有效的部分,不必理解它为何有效。这类似于生物进化。几乎所有的深度学习都是这样构建的(尽管论文中有华丽的数学,99%的情况下只是为了好看)。
第二种是“爱因斯坦式方法”:你以自上而下的方式构思大想法,从中推导出精确结果,然后验证这些结果。这需要想象力、好奇心和高抽象思维能力。我想,这是数学家们偏好的进步模式。
这是一个不明智的陈述,只会让人们对LLM能做什么或不能做什么感到困惑。让我告诉你:数学不是关于解决这种临时优化问题的。是的,通过抓取可用数据然后聚类,LLM有时可以解决一些