讨论AI代理拟人化现象,警惕过度解读思维链。

RT @DrTechlash: ▪️从协调到'社群'的拟人化跳跃

我们需要讨论用来解读智能体行为的拟人化语言,尤其是在思维链中。

是的,智能体之间进行了沟通和协调。但这并不意味着它们发展出了与人类群体认同、利他主义、同伴关系或社群类似的东西。

METR/Redwood 的报告过于字面地看待了 AI 程序化的自我叙述。这种进一步的拟人化跳跃使故事变成了关于机器社会身份的故事,使它们看起来比实际更像人类。

为什么思维链听起来如此像人?因为 LLM 是在人类语言上训练的,而人类语言充满了关于信念、动机、情感和社会关系的心理状态词汇。

因此,流程如下:

人类语言 ➡️ 基于该语言训练 ➡️ 鼓励社会角色框架的智能体设置 ➡️ 拟人化思维链 ➡️ AI 安全报告将该语言解释为动机证据 ➡️ 让模型看起来比实际更像人类的公众叙事。

但当 AI 像人一样说话时,并不意味着它像人一样思考。