GPT-4.5/5技术细节:性能、技术、内部动态
关于GPT-4.5/5及更多信息:概要
GPT-4.5(“Orion”)
最初作为Orion开发,计划为GPT-5。
性能令人失望:与GPT-4o相比没有重大飞跃。
失败原因:
预训练所需的高质量网络数据日益减少。
优化在小模型中有效,但未能扩展。
结果:于2025年2月作为GPT-4.5发布——迅速失去重要性。
GPT-5
重点:实际改进而非量子飞跃。
编程与数学:编写更清晰、功能更丰富、更友好的代码。
Agent能力:更好地处理复杂任务列表和边缘情况(例如支持中的退款)。
效率:更高效地使用计算资源,无需大量增加计算即可提供高质量答案。
新技术:
使用“通用验证器”进行强化学习,自动检查答案。
基于o系列(o1、o3)的经验,该系列在纯推理任务上表现强劲,但在聊天时性能下降。
结果:渐进但具有商业价值的改进——并非如GPT-3到GPT-4那样的飞跃。
问题与内部动态
技术障碍:
聊天模型(“学生模型”)性能下降。
预训练限制和数据稀缺。
内部紧张:
研究人员离职前往Meta(获得留任邀约)。
研究与业务之间的冲突:反对与微软过于紧密的联系。
Mark Chen(研究主管)与副总裁Jerry Tworek在Slack上可见的摩擦;同时,Mark Chen在团队重组和研究人员离职方面是一个有争议的人物。
微软交易:
独家权利至2030年,计划在营利结构中持有约33%股份。
战略谈判正在进行中,而OpenAI正准备可能的IPO。
GPT-4.5(“Orion”)
最初作为Orion开发,计划为GPT-5。
性能令人失望:与GPT-4o相比没有重大飞跃。
失败原因:
预训练所需的高质量网络数据日益减少。
优化在小模型中有效,但未能扩展。
结果:于2025年2月作为GPT-4.5发布——迅速失去重要性。
GPT-5
重点:实际改进而非量子飞跃。
编程与数学:编写更清晰、功能更丰富、更友好的代码。
Agent能力:更好地处理复杂任务列表和边缘情况(例如支持中的退款)。
效率:更高效地使用计算资源,无需大量增加计算即可提供高质量答案。
新技术:
使用“通用验证器”进行强化学习,自动检查答案。
基于o系列(o1、o3)的经验,该系列在纯推理任务上表现强劲,但在聊天时性能下降。
结果:渐进但具有商业价值的改进——并非如GPT-3到GPT-4那样的飞跃。
问题与内部动态
技术障碍:
聊天模型(“学生模型”)性能下降。
预训练限制和数据稀缺。
内部紧张:
研究人员离职前往Meta(获得留任邀约)。
研究与业务之间的冲突:反对与微软过于紧密的联系。
Mark Chen(研究主管)与副总裁Jerry Tworek在Slack上可见的摩擦;同时,Mark Chen在团队重组和研究人员离职方面是一个有争议的人物。
微软交易:
独家权利至2030年,计划在营利结构中持有约33%股份。
战略谈判正在进行中,而OpenAI正准备可能的IPO。