董豪团队提出 HIL-UMI：无需机器人执行即可完成后训练
一种不用机器人反复试错的后训练方法：人在示范时模型同步预测，差异处即该补的课，采集效率为 HG-DAgger 的 5.63 倍。
董豪团队联合启元机器人、北京大学、西安交通大学等提出 HIL-UMI：人手持夹爪做示范的同时，模型同步预测动作，两者出现分歧的地方就是模型当前的薄弱环节，据此定向补充数据并继续训练。整个过程不需要机械臂实际运行，采集效率达到 HG-DAgger 的 5.63 倍。
正文摘录
.png) 怎样知道机器人还需要学什么？一种直接的办法，是让它先做一遍：哪里抓不稳、哪里放不准，人再接管纠正。这样教很有针对性，但每补一批经验，都得让机械臂实际运行。 董豪团队联合启元机器人、北京大学、西安交通大学等提出的 HIL-UMI，把发现薄弱环节的过程放到了人类示范中。人手持夹爪操作，模型同时预测自己的做法，系统比较两者的差异，提示哪些地方需要多教一段。 无需机器人实际执行，也能根据当前模型的需要，采集数据并继续训练。  论文地址：https://arxiv.org/pdf/2609.20659 项目主页：https://hil-umi.github.io 多教几遍 为什么还是会出错 假设要把桌上的玩具收进抽屉。人演示时，通常能稳稳夹住，再顺利放进去。机器人自己做时，却可能抓偏了一点，把玩具推到了旁边。位置变了，朝向也变了，接下来该怎么夹，已经和示范里的情况不同。 这时候，它缺少的是处理这个新局面的经验。如果继续按原来的动作做，小误差就可能越积越大。再给它看几次顺利完成的操作，未必正好能补上这一课。 如今，一类被称为视觉语言动作模型（VLA）的模型，可以根据摄像头画面和语言指令，生成机器人要执行的动作。用新的操作数据继续改进已有模型，就是后训练。常见做法是监督微调（SFT）：人演示怎样完成任务，模型学习其中的动作。