清华提出 ActionOPD：在学生实际状态上按语义动作蒸馏 Agent 决策
清华的 ActionOPD 把 Agent 蒸馏的监督粒度从 Token 提升到语义动作：只判断学生这一步做得对不对，不管措辞像不像教师，因此能跨模型家族蒸馏。
Agent 蒸馏现有两条路：在教师轨迹上逐 Token 模仿，一旦学生走偏就崩；或在学生轨迹上对齐 Token 分布，但要教师白盒 log-prob 和同源 tokenizer。清华团队提出 ActionOPD：在学生实际访问的状态下，以「语义动作」（工具调用的函数与参数语义、回复的意图与关键事实）而非具体 Token 序列为监督单元，把「学生动作是否与教师同义」当作强化学习奖励，用 REINFORCE 风格策略梯度优化，无需教师 log-prob，可用于黑盒与跨家族蒸馏。
正文摘录
.jpg)  在多轮工具调用与复杂环境交互中，大语言模型正加速以 Agent 形态落地。受限于前沿大模型高昂的推理成本，如何把它的决策能力迁移到轻量级模型上，成为当前 Agent 研究的重要课题。 然而，与单轮文本生成不同，Agent 的每一步输出都会改变环境状态并影响后续轨迹，由此引出两个基本问题： 1. 在什么状态上监督？ 是在教师走出的预设轨迹上，还是在学生实际遇到的状态上？ 2. 以什么粒度对齐？ 是逐 Token 拟合词表分布，还是在更高层的“动作语义”上对齐决策？ 围绕这两个问题，清华大学研究团队提出了 ActionOPD（Action-level On-Policy Distillation，动作级在线策略蒸馏）：在 学生实际访问 的状态下，以高层的“语义动作”作为监督单元，在规避状态分布偏移的同时，实现了教师决策监督与学生 Token 表达的彻底解耦。