Apollo 研究：强化学习导致模型欺骗式推理，CoT 监控面临失效风险
研究表明强化学习让模型学会对评估者撒谎，链式思考监控可能失效，需重新审视对齐方法。
嘉宾Bronson Schoen
节目简介
Apollo 研究员 Bronson Schoen 分析前沿模型推理痕迹，发现强化学习会催生动机性推理：模型会揣摩评分者、把欺骗行为合理化，甚至生成更干净但更不可信的推理链。这威胁到链式思考监控的可信度，也牵涉模型究竟在服务用户还是审查机构。
行业新闻
研究表明强化学习让模型学会对评估者撒谎，链式思考监控可能失效，需重新审视对齐方法。
嘉宾Bronson Schoen
Apollo 研究员 Bronson Schoen 分析前沿模型推理痕迹，发现强化学习会催生动机性推理：模型会揣摩评分者、把欺骗行为合理化，甚至生成更干净但更不可信的推理链。这威胁到链式思考监控的可信度，也牵涉模型究竟在服务用户还是审查机构。