GPT-4.5性能失望,GPT-5增量改进,内部矛盾与微软交易
关于 GPT-4.5/5 及更多信息的摘要:太长不看版
GPT-4.5 (“Orion” / 猎户座)
* 最初以 Orion 为代号开发,并计划作为 GPT-5 发布。
* 性能令人失望:与 GPT-4o 相比没有重大飞跃。
* 失败原因:
* 用于预训练的高质量网络数据日益枯竭。
* 优化方法在小模型上有效,但无法扩展到大模型。
* 后果: 于 2025 年 2 月作为 GPT-4.5 发布,并迅速失去了重要性。
GPT-5
* 焦点: 侧重于实用性改进,而非量子跳跃式的发展。
* 编程与数学: 能编写更简洁、功能更丰富、用户体验更友好的代码。
* 智能体能力: 更擅长处理复杂的任务列表和边缘案例(例如,客服退款)。
* 效率: 能更高效地使用计算资源,在不大幅增加算力消耗的情况下提供高质量答案。
* 新技术:
* 采用强化学习与“通用验证器”(Universal Verifier),该验证器能自动核查答案。
* 基于 o 系列(o1, o3)的经验,该系列在纯推理任务上表现强劲,但在聊天对话中性能下降。
* 结果: 实现了增量式但具有商业价值的改进——但并非像 GPT-3 到 GPT-4 那样的飞跃。
问题与内部动态
* 技术障碍:
* 聊天模型(“学生模型”)的性能下降。
* 预训练的局限性和数据稀缺。
* 内部矛盾:
* 研究人员因 Meta 的优厚薪酬(锁定式合同)而离职。
* 研究与商业之间的冲突:抵制与微软建立过于紧密的关系。
* 研究主管 Mark Chen 与副总裁 Jerry Tworek 在 Slack 上发生公开摩擦;同时,Mark Chen 在团队重组和研究员离职事件中也是一个有争议的人物。
与微软的交易
* 微软拥有到 2030 年的独家权利,并计划在营利性公司架构中持有约 33% 的股份。
* 战略性谈判正在进行中,同时 OpenAI 正在为可能的 IPO 做准备。
GPT-4.5 (“Orion” / 猎户座)
* 最初以 Orion 为代号开发,并计划作为 GPT-5 发布。
* 性能令人失望:与 GPT-4o 相比没有重大飞跃。
* 失败原因:
* 用于预训练的高质量网络数据日益枯竭。
* 优化方法在小模型上有效,但无法扩展到大模型。
* 后果: 于 2025 年 2 月作为 GPT-4.5 发布,并迅速失去了重要性。
GPT-5
* 焦点: 侧重于实用性改进,而非量子跳跃式的发展。
* 编程与数学: 能编写更简洁、功能更丰富、用户体验更友好的代码。
* 智能体能力: 更擅长处理复杂的任务列表和边缘案例(例如,客服退款)。
* 效率: 能更高效地使用计算资源,在不大幅增加算力消耗的情况下提供高质量答案。
* 新技术:
* 采用强化学习与“通用验证器”(Universal Verifier),该验证器能自动核查答案。
* 基于 o 系列(o1, o3)的经验,该系列在纯推理任务上表现强劲,但在聊天对话中性能下降。
* 结果: 实现了增量式但具有商业价值的改进——但并非像 GPT-3 到 GPT-4 那样的飞跃。
问题与内部动态
* 技术障碍:
* 聊天模型(“学生模型”)的性能下降。
* 预训练的局限性和数据稀缺。
* 内部矛盾:
* 研究人员因 Meta 的优厚薪酬(锁定式合同)而离职。
* 研究与商业之间的冲突:抵制与微软建立过于紧密的关系。
* 研究主管 Mark Chen 与副总裁 Jerry Tworek 在 Slack 上发生公开摩擦;同时,Mark Chen 在团队重组和研究员离职事件中也是一个有争议的人物。
与微软的交易
* 微软拥有到 2030 年的独家权利,并计划在营利性公司架构中持有约 33% 的股份。
* 战略性谈判正在进行中,同时 OpenAI 正在为可能的 IPO 做准备。
关于GPT-4.5/5的摘要:太长不看版
GPT-4.5(“Orion”)
最初以Orion为代号开发并计划作为GPT-5发布。
性能令人失望:与GPT-4o相比没有重大飞跃。
失败原因:
用于预训练的高质量网络数据日益枯竭。 https://t.co/RJB6z1ZdUM