卡帕西用《指环王》测试大模型 3D 生成能力
卡帕西提出以《指环王》为提示词,让大模型生成可交互 3D 世界,作为评测空间理解与长程任务的新基准。
卡帕西让 Opus 5 读取《指环王》开头,用 Three.js 生成可交互的 3D 中土世界,耗时 100 万 token、2 小时和 5500 行代码。画面粗糙但能运行,这被视为从简单 SVG 测试转向复杂 3D 世界基准的新尝试。
正文摘录
就在刚刚,大神卡帕西宣布,“我们”Anthropic 已经开始用一种全新的方式,给大模型上强度—— 据卡帕西介绍,这套“指环王基准”,正在接替过去风靡一时的“鹈鹕骑自行车”SVG 测试。 具体来说,卡帕西直接把《指环王》的开头丢给 Opus 5,让模型用 Three.js 现场搓出一整个“中土世界”。 至于最终效果嘛,多少有点像上世纪 90 年代末、21 世纪初的国产 3D 动画片:很粗糙,也很抽象。 但客观来说,仔细看上一会儿,如果你又恰好熟悉坐落在新西兰的《指环王》取景地霍比屯,倒也确实能看出那么一丝味道~ 不过,就是这么个看起来不太精致的玩意,却实打实地花掉了 Opus 5: 100 万 token , 2 个小时 以及 5500 行代码 。 他指出,Opus 5 目前还无法真正“进入”自己生成的世界,只能在不同时间点不断截图,再慢慢检查哪里出了问题。 它们已经能写代码、搭场景、生成游戏,却还不能真正看懂视频,也不会亲自玩一遍自己做出来的游戏。 如果按照卡帕西推文的字面意思,这次输入给 Opus 5 的主要提示词,应该就是《指环王》正文第一章《期待已久的宴会》的开头。 除此之外,卡帕西还在提示词里指定了 Three.js,也就是一个用代码搭建 3D 场景的 JavaScript 库。 由此,Opus 5 要完成的任务,就是先读懂《指环王》开头的文字,再把它翻译成一个能够在浏览器中实时运行的 3D 世界。 整个过程中,Opus 5 需要用多边形拼出人物、建筑和道具,把它们逐个放进 x、y、z 坐标系,再安排好摄像机、灯光和动画。 人物什么时候移动,镜头往哪里转,灯光如何变化,场景中的物体又该如何互动,全部需要模型用代码定义。 虽然最后的画面称不上精致,而且经常出现穿模、漂浮等问题,比如人物的身体和脑袋分离……但整套场景好歹被真正搭了起来。