Databricks 向 3500 名工程师全量推送 Astra,复杂任务表现更优、编码开销增 60%
RT @pwendell:今天我们在 Databricks 向所有工程师(约 3500 人)全量推送了 Astra。一些可能对他人有用的记录:
1. 在高度复杂的任务上,尤其是涉及高层系统设计或长跨度横向任务时,Astra 明显优于我们此前最高端的模型(Opus 5、Sol 5.6)。
2. 获得 Astra 使用权限后,工程师的整体编码开销相比基线增加了约 60%。
3. 尚不清楚 Astra 在中低复杂度编码任务上相比早期模型有实质提升。我们推测这类任务对现有模型而言已基本饱和(即已被完美执行)。
4. 上述结论来自我们先在约 200 名用户中试点 Astra,以获取质量和成本两方面的信号。我们用 Unity Gateway 对所有新模型进行基于分组的实验。
5. 我们为工程师设置了 Astra 专属子预算,鼓励他们只在复杂任务上选择性地使用 Astra,日常任务则优先使用更低成本的模型。工程师可以在总体预算范围内自由混搭工具和模型(我们也通过多种机制允许提高预算)。这些预算在 Unity Gateway 中定义,并定期重新审视。
注:我们尚未对 Astra 与 Fable 做可靠对比,因为受数据留存政策限制,Fable 还没有广泛推送。
1. 在高度复杂的任务上,尤其是涉及高层系统设计或长跨度横向任务时,Astra 明显优于我们此前最高端的模型(Opus 5、Sol 5.6)。
2. 获得 Astra 使用权限后,工程师的整体编码开销相比基线增加了约 60%。
3. 尚不清楚 Astra 在中低复杂度编码任务上相比早期模型有实质提升。我们推测这类任务对现有模型而言已基本饱和(即已被完美执行)。
4. 上述结论来自我们先在约 200 名用户中试点 Astra,以获取质量和成本两方面的信号。我们用 Unity Gateway 对所有新模型进行基于分组的实验。
5. 我们为工程师设置了 Astra 专属子预算,鼓励他们只在复杂任务上选择性地使用 Astra,日常任务则优先使用更低成本的模型。工程师可以在总体预算范围内自由混搭工具和模型(我们也通过多种机制允许提高预算)。这些预算在 Unity Gateway 中定义,并定期重新审视。
注:我们尚未对 Astra 与 Fable 做可靠对比,因为受数据留存政策限制,Fable 还没有广泛推送。