新加坡国立大学提出 Show-Harness:用统一语义动作接口让 VLM 直接控制真实机器人
给 VLM 一套可读、可组合的语义动作接口,它已有的视觉和空间理解就能不重训直接驱动真实机器人,换本体只需替换底层解释器。
新加坡国立大学 Show Lab 提出 Show-Harness,把机器人动作抽象成一组 VLM 能读懂的语义单元(前后左右移动、旋转、抓取、释放等),由各机器人的本地解释器翻译成受安全约束的控制命令。模型不再回归连续控制量,而是靠多视角图像和状态反馈循环做细粒度决策,换机器人只需换底层解释器。
正文摘录
.jpg)   - 标题:Show-Harness: Just a VLM Agent Can Play Robots - 作者:Yanzhe Chen, Zechen Bai, Zhijun Cao, Wenzheng Zeng, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou† - 单位:新加坡国立大学 Showlab - 项目主页:https://showlab.github.io/Show-Harness/ - 论文链接:https://arxiv.org/abs/2609.10522 - 开源代码:http…