清华团队发布 HandsOn 基准，66 项任务评测灵巧手操作
灵巧手操作长期缺少统一的评测标准；HandsOn 用 66 项任务分开测执行与泛化，结果显示现有策略成功率仍很低。
清华大学丁宁团队联合北邮、北大等发布 HandsOn：一个面向灵巧手（多指、能完成精细接触操作的机器人手）的评测基准，含 66 项任务、1.8 万条仿真遥操作示范，支持 5 种机械臂与 6 种灵巧手。测试中最好的多任务策略在有示范任务上成功率 29.1%，无示范的迁移任务则均低于 1%。
正文摘录
.jpg) 编辑｜陈陈、Clio 机器人操作的「考卷」，需要为灵巧手重新出一份了。 过去的机器人操作 benchmark，大多围绕夹爪展开。而随着第一视角（ego）人类操作数据不断积累，人如何抓握、使用工具、完成精细接触，正被越来越大规模地记录下来。灵巧手与人手结构相近，有望借助这些数据实现更大规模的学习，成为机器人操作的重要方向。 然而，灵巧手不断进化，「考卷」却没有跟上。 灵巧手有大量主动关节，任务充满接触，常常需要双手协作，还要在较长的动作序列中保持前序结果；成功与否难以判定，失败发生在哪一步也难以定位。夹爪时代的基准无法直接回答这些问题，而面向灵巧手的系统、可靠的评测体系，目前仍然缺位。 数据和模型在往前走，却缺少一把能够衡量进展的尺子。 近日，清华大学丁宁团队联合北京邮电大学、北京大学及来自自然意志 Nature Will 的研究员共同构建了一个面向跨本体灵巧操作的可组合仿真平台与评测基准 HandsOn，希望补上这一环。 HandsOn 包含 66 项人工验证任务和 18,000 条人类仿真遥操作示范，围绕工具使用、精细接触、双手协作和任务迁移展开评测。平台支持 5 种机械臂、6 种灵巧手，以及约 200 种刚体、关节物体和可变形物体资产，并可在随机化场景中组合。