讨论防止不可监控性竞赛,及思维链监控的脆弱性。

RT @merettm: 我想阻止由混乱报告引发的不可监控性竞赛。包括 Astra 在内的当前前沿模型的计算图深度在 GPT-4 的两倍以内。

OpenAI 从最初的推理模型起就在保留和利用思维链监控。我们非常重视这项技术,因为它可以让我们看到模型对齐如何从其训练分布中泛化。我认为它很脆弱且正朝负面方向发展,原因与架构变化无关,稍后会写文章详述。但我们可以采取措施加强它,这是我们当前研究计划的核心目标。