港大与清华提出 VAST：离线强化学习自适应选择价值更新跨度
VAST 让智能体自己决定价值更新该看多远：挑选值得前往的未来状态并拼接价值，摆脱固定步长的错配。
在长程任务里，价值函数要判断“当下这一步未来值不值”，但估计误差会沿决策链反复累积。港大与清华提出 VAST：不再预设固定的多步跨度，而是让智能体自己挑选未来子目标及对应的时间跨度，把局部回报与后续价值拼接起来，并证明该更新算子具有收缩性、可收敛。
正文摘录
.jpg)  一个选择是否正确，答案往往不在做出选择的那一刻 。眼前的绕行，可能是抵达终点的捷径；此刻的一点收益，也可能让后续行动付出更大的代价。对强化学习而言，连接“当下选择”与“未来后果”的，正是价值函数。它要回答的是：如此行动，未来究竟值不值得？ 然而，任务越长程、阶段越复杂，这个问题就越难回答。传统的单步时序差分（TD）学习以即时奖励与下一状态的折扣价值估计构造目标，更新当前价值判断。尽管在理想条件下，贝尔曼最优迭代可收敛至最优价值函数，实际学习却依赖有限样本与函数近似。当不准确的估计被反复用作学习目标，误差便可能沿决策链条传播、累积，形成自举偏差，进而误导策略学习。 如何建模好一个真正的价值，仍是一个值得持续探索的问题。n-step TD 将更多步的真实奖励纳入价值更新，Q-chunking 等方法则围绕固定长度的动作片段建模。然而，拉长跨度，并不等于选对跨度。真实世界的长程任务具有鲜明的阶段差异。预先设定的固定步长难以兼顾这些需求，既可能模糊短期的关键选择，也可能限制对远期后果的评估，削弱价值对策略提取的精细指导。 任务的关键转折，并不会恰好落在固定分段的边界上 。