上交等提出 VaM：用价值预测作任务进度记忆，机器人连续自主运行 4 小时成功率超 95%
给机器人策略加一份「任务进度记忆」，让它在长流程操作中察觉停滞与回退，并靠在线强化学习越干越稳。
机器人叠衣服、装纸盒这类长流程任务，难点在于判断动作是否奏效、任务是否还在推进。上海交大与上海创智学院的研究者提出 Value as Memory（VaM）：把价值模型对近期回报的预测序列当作「任务进度记忆」输入动作策略，让策略分辨视觉相似但状态不同的场景，并用从离线示范到在线真机强化学习的四阶段流程持续吸收部署经验。
正文摘录
  余文晔，上海交通大学和上海创智学院直博二年级学生，导师卢策吾、汶川，主要研究方向为真机强化学习、人在回路后训练系统，曾作为第一作者或共同第一作者发表于 RSS、CoRL、RAL 等机器人会议、刊物 机器人叠衣服时，夹爪移动到了衣角附近，并不意味着它已经抓住了衣服。装配纸盒时，两次看起来相似的按压，也可能分别对应 “即将扣合” 和 “已经卡住” 两种迥然不同的状态。 对于长流程操作，机器人需要判断的不只是眼前有什么，还包括：刚才的动作有没有奏效，任务是否仍在推进，以及下一步应该继续执行还是调整恢复。 这正是 Value as Memory（VaM） 关注的问题。我们将价值模型近期的预测作为 “任务进度记忆”，提供给动作策略，帮助机器人利用任务进展、停滞和回退的信息选择动作。同时，VaM 通过从离线到在线的强化学习流程，让机器人不断利用真实部署中的新经验改进策略。