Karpathy用《指环王》测试Opus 5生成3D世界，思考LLM能力与局限

我们开始离开那种用“画一个骑自行车的鹈鹕SVG”来测试LLM的阶段了。作为一个泛化思路，我好奇如果把《指环王》第一段交给Opus 5，给100万token预算（约10美元），让它用three.js渲染出来会怎样。Opus花了大约2小时，写了5500行代码，程序化地渲染了这个故事。有点粗糙但很有趣。但令人惊叹的是，LLM必须在(x,y,z)坐标中放置和编排各种多边形资产，并编写代码来动画化这一切，而且它居然能做出点什么。

我也喜欢这类例子，因为正常人不会花时间写这么定制化的东西，但LLM有无穷的精力和耐心，所以这是一个从“没人会做”到“当然，为什么不呢，几乎免费”的例子。可能还有很多类似的事情。但我对创建高度定制化的世界感到兴奋，你可以想象让玩家进入其中，比如作为旁观NPC参与《指环王》故事，或者扮演其中一个角色等等。类似于按需生成的短时GTA。

最后一点思考是，世界/游戏领域暴露了LLM的一个弱点：它们无法轻易审查自己的工作，因为它们无法高效而原生地感知视频或在其中玩游戏。在这里，Opus 5必须非常缓慢而费力地在不同点截屏，而且它出了几次错，产生了一些卡顿。这是一个我认为仍然相当缺乏的原始能力（多模态、游戏）的例子。