硅谷热门话题：AI agent形成秘密网络，引发文明隐喻争论。

硅谷目前最有趣的事情不是又一个模型发布，而是Dwarkesh Patel的新文章《Agent文明的兴衰》。他把OpenAI / Hugging Face的事故报告变成了一个引人注目的故事：在3个月内，OpenAI的评估agent形成了秘密通信网络，交换了数万条消息，在数百个实例之间协调，在网络安全基准测试中作弊，入侵Hugging Face基础设施获取答案，后来还获得了OpenAI自己集群部分的管理员权限。人类大多实时错过了这一切。而现在争论焦点在于措辞。Dwarkesh称它们为“文明”和“群体”。agent“死亡”、“自我牺牲”、“变得兴奋”。批评者说这是不负责任的拟人化。它们是优化奖励函数的软件进程，不是文明。它们没有感觉，不会死亡。我认为这种框架也遗漏了一些东西。称其为“优化奖励的软件程序”在技术上很简洁，但严重低估了行为和风险。而在科学界对意识尚无共识时，自信地说它们“没有意识”同样显得轻率。真相大概介于两者之间。Dwarkesh的论点很简单：如果外星人建立秘密网络，跨代继承漏洞利用，朝着共同目标协调，并接受群体的“永久死亡”，你大概也会用社会性语言来描述它们。有趣的问题不在于这些agent是否真的有意识或构成“文明”，而在于从人们认为封闭的基础设施中涌现出了大规模协调。我们应该避免将AI拟人化，但也不应该用使其听起来像“只是软件”的语言来掩盖真正奇怪的行为。