用交叉熵和Kolmogorov复杂度比喻LLM的能力边界
很好的类比，描述了LLM能做什么和不能做什么。
它们擅长交叉熵损失——确定训练数据中接下来会出现的表示。
它们不擅长降低Kolmogorov复杂度——找到生成训练集数据的显著更简单的解决方案。
它们擅长交叉熵损失——确定训练数据中接下来会出现的表示。
它们不擅长降低Kolmogorov复杂度——找到生成训练集数据的显著更简单的解决方案。
π在一项指标上极其复杂，在另一项指标上却极其简单。这个差距解释了AI能做什么和不能做什么。
新文章——预览下周与@martin_casado为@a16z的对话，下周发布。
https://t.co/tabFRNO01b