昆仑万维开源 Matrix-Game 4.0:单张 RTX 5090 实时运行游戏世界模型
昆仑万维开源 Matrix-Game 4.0,用「引擎管状态、视频模型管画面」的分工,把游戏世界模型压到一张 RTX 5090 上实时跑,且开放模型与代码给开发者复现。
昆仑万维旗下 Skywork AI 发布 Matrix-Game 4.0,称其为首个可在单张消费级显卡上实时运行的游戏世界模型。按下方向键到画面响应约 0.15 秒内,每秒 60 帧,显存峰值约 18.5GiB。它把游戏引擎当裁判维护世界状态和规则,视频模型只负责把结构草图渲染成完整画面。
正文摘录
不 er,印象中非常吃算力的「游戏世界模型」,居然就这样被塞进一张 RTX 5090 里了?! 就在刚刚,昆仑万维旗下 Skywork AI 发布 Matrix-Game 4.0,据悉这是「全球首款可在单张消费级显卡上实时运行的游戏世界模型」。 以前常见的游戏世界模型 Demo,是玩家按一下方向键,模型接着往前生成画面。世界能逛,场景会动,但底下究竟有没有一套真正运行的游戏,不太好说。 视频地址:https://mp.weixin.qq.com/s/dOIALEFwEA3tUTwQwEyA 按下键,不到 0.15 秒画面就有反应;一秒能跑 60 帧;整套系统占用显存峰值约 18.5GiB。 让 Coding Agent 动动游戏代码,原本的计时赛,转眼就能变成拦截目标车辆的追击战。 视频地址:https://mp.weixin.qq.com/s/dOIALEFwEA3tUTwQwEyA 以谷歌 Genie 为代表的路线,率先让玩家走进 AI 实时生成的世界,走到哪里,模型就把画面生成到哪里。 画面偶尔多一棵树、少一扇窗,顶多让人出戏。可要是 NPC 的位置、玩家的血量、任务的输赢也由模型临场发挥,那还玩啥啊?? 在团队看来,现阶段的视频生成更像一种「符际翻译」,负责把文字、动作和场景信息转成连续画面。 2、游戏引擎当「裁判」,负责维护世界状态、执行游戏规则,并画出一份不会乱的结构草图; 等视频模型接手,城堡、草地、材质和光影被实时补齐,刚才还是 3D 草模,转眼就成了完整的游戏画面。 视频地址:https://mp.weixin.qq.com/s/dOIALEFwEA3tUTwQwEyA 就拿盾牌来说,玩家拾取后,引擎会把它正式写进游戏状态。中弹时先扣盾牌耐久,盾牌失效后再扣角色血量;等血量归零,游戏结束。