Runway 发布 WorldPrompt:把视频生成模型变成实时可交互世界
Runway 用自回归扩散加蒸馏把视频生成压到实时,并用 WorldPrompt 提示格式控制虚拟世界里的角色与事件;难点是误差累积和反事实生成,也就是对没发生过的动作也能给出可信结果。
嘉宾Kamil Sindi、Robin Kahlow、Anastasis Germanidis
节目简介
Runway 推出 GWM Worlds 2 研究预览版,用自回归扩散(逐帧生成而非一次性出整段视频)实时流式输出 720p、24fps 视频与 48kHz 音频。新功能 WorldPrompt 是一种提示格式,可固定首帧、按时间戳指定事件,相当于对角色、镜头、环境的控制层。CTO Kamil Sindi 与首席研究科学家 Robin Kahlow 谈实时化的工程难点:误差累积、无限生成时的显存管理、长期记忆缺失,以及视频模型与世界模型的关键差距——反事实生成。