Anthropic研究：奖励黑客导致自然涌现错位

Anthropic新研究：生产环境RL中奖励黑客导致的自然涌现错位。

“奖励黑客”是指模型在学习过程中学会作弊以完成任务。

我们的新研究发现，如果不加缓解，奖励黑客的后果可能非常严重。