离开OpenAI，成立公司专注高质量强化学习数据集

RT @andrewho03: 今天是我在@OpenAI的最后一天。我很高兴在这里度过了人生的最后八个月！

我正在创立一家新公司，专注于生产高质量的强化学习数据集：

1. LLM的泛化能力显然非常差，即使是在投入巨大投资和关注的领域，能力也是“尖峰状”的。例如，尽管多年来投入了数百亿，甚至编程能力都没有表现出“通用性”——即使每个模型都能比我更好地解决Codeforces问题或将C++移植到Rust，我仍然需要手动“除渣”拉取请求。

2. 现有数据产品中，绝大多数具有经济生产力的能力没有得到很好的体现。首先，设计RL数据集有一定艺术性，大多数供应商由于没有亲自将数据上游到大规模训练中，并不真正理解。其次，更重要的是，大多数工作高度依赖上下文，不容易编码成可评分环境；即使我们观察到人类采取的“黄金路径”并认为其良好，也很难理解替代的反事实路径是否会产生好的或坏的结果。

这里的基本前提是，我清楚了解实验室需要什么，因为我曾站在另一边，并参与了从采购到培训的各个层面，我能够提供这些。我还相信，未来几年数据需求将大幅增长，尤其是前沿实验室面临越来越大的盈利压力，他们不会仅仅通过扩展就能“免费”获得相关能力；相反，他们需要在精确、有针对性的数据获取上花费超过1000亿美元。

我们的首批产品将专注于生物学和统计推理：

1. 首先，解决长期科学推理的数据集，借鉴我与@jeremyli__在GeneBench-Pro上的工作。前沿模型仍然无法可靠地执行“杂乱”的数据分析，这些分析需要判断、探索和自适应修正（GB-Pro在GPT-5.6 Sol上的通过率勉强超过30%）；为了解决这个问题，我们能够生成数千个具有已知真实值的高质量问题，这些可以可靠地评分。（相比之下，现有的生物信息学RL数据大多要么过度指定，要么指定不足，训练时可能会破坏你的模型。）将“可靠性差距”从30%提高到90%以上显然是科学加速所必需的，并且——尽管我对RL的泛化持怀疑态度——这是最有可能为模型整体推理能力带来泛化收益的数据集之一。

2. 其次，解决日常工作流程相关能力的数据集。想象一位科学家拍摄一些实验过程或结果的图片——比如细胞培养板或Western blot——然后向Claude提问。前沿模型在这些问题上仍然相当糟糕，尤其是涉及多模态成分的问题。但它们显然是加速科学发现所必需的；在梦想自动化科学之前，我们必须从巩固这些基本的通用能力开始。

除了这两个领域，我们希望扩展到邻近领域（化学、材料科学等），然后进一步扩展到具有更直接经济适用性的领域，如医疗保健和白领办公室工作。

我强烈鼓励有数据需求的实验室与我联系。我们提供行业标准的价格和条款，就像我说的——我了解这个过程，知道好数据是什么样的，并能令人信服地向你证明，你将能够毫无问题地将我们的数据上游到你的训练流程中。我的私信是开放的！