AI中普遍误解：可扩展方法并非简单方法

在AI中有一个广泛持有的误解：可扩展的方法通常是简单方法，甚至简单方法通常可扩展。这完全错误。机器学习中几乎没有真正简单的方法能很好地扩展。SVM、kNN、随机森林是最简单的方法之一，但它们根本无法扩展。而“通过反向传播和梯度下降训练transformer”是一个高熵方法，比随机森林拟合复杂10倍以上，但它扩展性很好。此外，给定一个不能扩展的简单方法，通常你会通过添加大量复杂性来使其扩展。例如，采用简单的基于组合搜索的方法（完全不可扩展）——你可以通过添加深度学习指导（这会大大增加复杂性）来使其扩展。可扩展性通常属于高熵、复杂的系统。