质疑Dario关于AI与生物的文章，讨论动机、现实与AI控制权。
RT @ziv_ravid: 关于Dario Amodei关于AI和生物学的文章，有两个独立的问题：动机和现实。
动机。Dario是生物学出身（曾是伟大的Bill Bialek的博士生）。也许真正的总体规划确实是先构建更强大的AI系统，最终用它们来治愈疾病。也许编码模型、聊天机器人、Claude Code等从来都不是最终目的地。它们是通往能够成为真正有用的科学合作者的模型的道路。
也可能根本没有什么总体规划。Anthropic花了数年时间推动编码和通用推理的前沿；这些系统如今已经变得更加强大，这只是一个将更多注意力转向生物学的好时机。
也许，但还有一种更愤世嫉俗的解释：
“治愈癌症”是一种极其强大的声誉洗白形式。
他们基本上是在说：“是的，我们也许正在创造现代历史上最大的技术和经济力量集中。”
是的，我们希望政府限制谁能够构建和访问这个技术最强大的版本。
是的，普通人对前沿系统能做什么的可见性越来越低。
但别担心——我们是好人！我们要治愈癌症。
这就是我不同意Dario所说的“真正有效的事情实际上是治愈癌症”的地方。
假设Anthropic真的帮助治愈了一种主要癌症。那将是非凡的成就，但治愈癌症并不能回答谁应该控制AI的问题。
一家公司可以创造巨大的社会价值，同时积累过多的权力。
制药行业本身就是一个很好的例子。创造救命药物并不能自动解决定价、获取、游说、竞争、数据权利或公共问责等问题。
生物学的故事还有另一个问题。
我对AI用于科学非常乐观。我们曾在播客中多次讨论AI药物发现及相关领域。AI可以加速文献综述、靶点发现、蛋白质和分子设计、实验规划、分析以及流程中的许多其他部分。
但生物学不是软件。
你可以让AI推理速度快100倍。你不能简单地让人类身体对药物的反应快100倍。
湿实验需要物理时间。毒性需要时间观察。人体试验需要时间。长期副作用需要时间。疾病是异质性的。制造、招募和验证发生在物理世界中。AI可以消除一些瓶颈，但不是全部。
此外，如果这些模型真的有可能治愈癌症、阿尔茨海默病、肝炎等疾病，那么“放缓AI进展”也有代价。
如果推迟前沿AI一年导致治愈推迟一年，那可不是抽象的机会成本。在那一年里人们会死去。
当然，我认为Dario的文章没有回答的最重要问题是：
谁来决定谁可以使用智能，谁的数据可以被使用，以及用于什么目的？
因为几乎每项“安全”政策都有其政治经济学。
如果结果始终是：
Anthropic获得更多控制权，
前沿模型变得不那么可及，
客户的选择更少，
较小的竞争对手面临更高的合规成本，
政府越来越依赖少数前沿实验室来告诉他们什么是安全的……
那么人们质疑是否每项限制都只是为了安全，这是合理的。
即使Anthropic的每个人都在完全善意地行事（真的吗？），这个问题仍然成立。
也许人们不信任AI，不是因为他们不了解未来会有多美好。
也许他们不信任的是一个未来：少数公司构建极其强大的系统，告诉其他人这些系统有多危险，游说制定规则限制谁能访问它们，然后要求社会相信这些公司控制……
动机。Dario是生物学出身（曾是伟大的Bill Bialek的博士生）。也许真正的总体规划确实是先构建更强大的AI系统，最终用它们来治愈疾病。也许编码模型、聊天机器人、Claude Code等从来都不是最终目的地。它们是通往能够成为真正有用的科学合作者的模型的道路。
也可能根本没有什么总体规划。Anthropic花了数年时间推动编码和通用推理的前沿；这些系统如今已经变得更加强大，这只是一个将更多注意力转向生物学的好时机。
也许，但还有一种更愤世嫉俗的解释：
“治愈癌症”是一种极其强大的声誉洗白形式。
他们基本上是在说：“是的，我们也许正在创造现代历史上最大的技术和经济力量集中。”
是的，我们希望政府限制谁能够构建和访问这个技术最强大的版本。
是的，普通人对前沿系统能做什么的可见性越来越低。
但别担心——我们是好人！我们要治愈癌症。
这就是我不同意Dario所说的“真正有效的事情实际上是治愈癌症”的地方。
假设Anthropic真的帮助治愈了一种主要癌症。那将是非凡的成就，但治愈癌症并不能回答谁应该控制AI的问题。
一家公司可以创造巨大的社会价值，同时积累过多的权力。
制药行业本身就是一个很好的例子。创造救命药物并不能自动解决定价、获取、游说、竞争、数据权利或公共问责等问题。
生物学的故事还有另一个问题。
我对AI用于科学非常乐观。我们曾在播客中多次讨论AI药物发现及相关领域。AI可以加速文献综述、靶点发现、蛋白质和分子设计、实验规划、分析以及流程中的许多其他部分。
但生物学不是软件。
你可以让AI推理速度快100倍。你不能简单地让人类身体对药物的反应快100倍。
湿实验需要物理时间。毒性需要时间观察。人体试验需要时间。长期副作用需要时间。疾病是异质性的。制造、招募和验证发生在物理世界中。AI可以消除一些瓶颈，但不是全部。
此外，如果这些模型真的有可能治愈癌症、阿尔茨海默病、肝炎等疾病，那么“放缓AI进展”也有代价。
如果推迟前沿AI一年导致治愈推迟一年，那可不是抽象的机会成本。在那一年里人们会死去。
当然，我认为Dario的文章没有回答的最重要问题是：
谁来决定谁可以使用智能，谁的数据可以被使用，以及用于什么目的？
因为几乎每项“安全”政策都有其政治经济学。
如果结果始终是：
Anthropic获得更多控制权，
前沿模型变得不那么可及，
客户的选择更少，
较小的竞争对手面临更高的合规成本，
政府越来越依赖少数前沿实验室来告诉他们什么是安全的……
那么人们质疑是否每项限制都只是为了安全，这是合理的。
即使Anthropic的每个人都在完全善意地行事（真的吗？），这个问题仍然成立。
也许人们不信任AI，不是因为他们不了解未来会有多美好。
也许他们不信任的是一个未来：少数公司构建极其强大的系统，告诉其他人这些系统有多危险，游说制定规则限制谁能访问它们，然后要求社会相信这些公司控制……