上海AI Lab等提出Cortex框架,双向对齐实现长程机器人操作
Cortex框架用结构化子任务连接规划与执行,双向对齐让机器人精准完成长程操作任务。
机器人长程操作面临规划与执行脱节:高层规划用开放语言,低层执行需精确指令。Cortex通过统一的结构化子任务双向对齐,配合事件均衡采样(在子任务边界加密采样),让模型学会判断任务进度,避免重复或跳步错误。
正文摘录
Cortex:自主切分规划 subtask,上海 AI Lab 提出双向协同 Agent 实现长程化学操作任务 - 来源:机器之心 .jpg)  拿起漏斗,插入圆底烧瓶;拿起量筒,把液体倒入烧瓶;移走漏斗,将烧瓶放到搅拌器上,再塞入瓶塞并按下开关。 对人来说,这是一串可以按顺序完成的动作;但对机器人,每一步都藏着两个判断:规划出的动作能否执行,当前动作是否完成。前者决定规划会不会脱离机械臂的能力,后者决定模型会不会卡在重复动作里,或还没完成当前动作就进入下一步。 端到端 Vision-Language-Action(VLA)模型通常根据当前观测直接生成动作序列。对于短程任务而言,模型仅根据当前画面生成动作序列通常已经够用;但随着任务步骤增多,模型很难持续追踪哪些操作已经完成,也容易混淆画面相似的不同阶段,导致误判任务进度。 另一类分层架构的方法:高层 VLM 负责规划,低层 VLA 负责执行。但二者并不天然兼容 —— 高层给出的往往是较为宽泛的开放语言,低层真正需要的却是明确到操作对象、目标位置和动作约束的可执行指令。