CMU 教授创立 Safeworld，为 GenAI 机器人做安全仿真验证
CMU 教授创立的 Safeworld 用带真人模型的仿真环境跑成千上万次场景，替 GenAI 机器人做安全验证——在机器人和小孩撞上之前先把标准定下来。
机器人行业正把控制权交给生成式 AI 模型，但这类架构是概率性的，不像传统算法那样可预测——你怎么确定一台全新的人形机器人是安全的？卡内基梅隆大学 Safe AI 实验室主任丁昭（Ding Zhao）联合两位创业者成立 Safeworld，已完成 1200 万美元种子轮，试图在机器人量产前把这件事用仿真测出来。
正文摘录
- title: Safeworld 能说服人们相信 GenAI 机器人不会伤害他们吗？ - sourcecompany: TechCrunch - bodymarkdown: 机器人领域的大趋势是把控制权交给生成式 AI 模型，但这带来了一个问题：这种架构不像传统算法那样可预测。你怎么能确定自己全新的人形机器人是安全的？ Carnegie Mellon University（卡内基梅隆大学）Safe AI 实验室主任 Ding Zhao 博士几乎整个职业生涯都在研究这个问题。如今，他与资深创业公司高管 Kyle Wong 和机器学习工程师 Simo Rachidi 一起创办了一家公司 Safeworld，目标就是解决它。 "我们谈的安全挑战是两件事的组合：一是真正先进的生成式 AI 概率评估——你如何为一个概率系统的风险做承保？"Zhao 说。"第二个非常难的部分是信任，而要把机器人部署出去，这两者你都得有。" [Safeworld](https://www.safeworld.ai/) 今天正式走出隐身模式，宣布完成超过 1200 万美元的种子轮融资，由 Shine Capital 和 a16z Speedrun 领投，Box Group、Carnegie Mellon University Endowment、Innovation Endeavors 和 SV Angel 参投。 "建立行业安全标准的时机就是现在，趁着机器人还在被设计和部署的阶段，"a16z Speedrun 合伙人 Jonathan Lai 对 TechCurnch 说。"等到家里的机器人撞上孩子、造成安全事故时，那就太晚了。" Safeworld 的专长是在模拟环境中评估机器人控制系统，而这些模拟环境里跑的是逼真的人类模型。