Robbyant 开源具身专属 MoE 视频模型 LingBot-Video
Robbyant 开源为机器人打造的 MoE 视频模型,用低成本模拟物理世界,降低机器人训练成本。
LingBot-Video 是全球首个专为机器人设计的 MoE 视频模型,30B 参数但推理只激活 3B。它生成符合物理规律的视频,用于训练机器人的世界模型,已开源。
正文摘录
视频地址: https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q 或许有小伙伴要问了,像刚才视频里的机器人切西红柿、吸床单和收纳口红,目前很多视频生成的 AI 不也能搞出来吗? 但既然说了 LingBot-Video 是具身版的专属视频模型,那说明它从架构、数据到训练目标全链路都是为机器人、人形智能体量身打造的。 它的功能远不止于生成视频,如此大规模的训练,让模型对现实世界中的互动有了更深刻的理解。 通用视频模型的训练目标,主要围绕视觉质量、语义对齐、运动连贯展开。人看视频时,也更容易被画质、光影、构图、风格打动。 它不只是看见一个杯子,还要判断自己伸手过去以后,杯子会怎么动;看见一条路,还要判断从这里走过去,会不会撞到障碍…… 通用模型里偶尔出现的穿模、物体凭空消失、动作违背惯性,对短视频创作来说可能只是瑕疵。观众看一眼,最多吐槽一句“AI 味有点重”。 因为这就相当于在教机器人一套错误的世界规律,它们会误认为手可以穿过物体、杯子可以无缘无故复原、液体可以悬在空中…… 所以 LingBot-Video 生成的视频,就是要让机器人的大脑学会真真实实的物理规律。 视频地址: https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q 视频中,机械臂在产线上对零件进行抓取、放置、定位,有的还涉及焊接、加工这样的动作。但重点在于末端执行器、工件、工作台之间的相对关系能不能在连续帧里保持稳定。 这对应的正是机器人真正需要学习的能力,包括看懂物体,靠近物体,作用于物体,然后预测物体状态的变化。 视频地址: https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q 一个是第一视角滑雪镜头,从雪坡向前冲下,雪雾、坡面、身体姿态都在快速变化;