Better and cheaper together: Open models explore, frontier models patch

正文摘录

简要概述 "执行器 - 编排器" 架构最近重新引起关注，因为它在节省前沿模型计算资源方面有潜力。这种架构下，一个前沿模型评估任务、制定计划并协调多个更小、更便宜的"执行器"模型来得出解决方案。我们认为，通过审视整个 pipeline 的构建方式，这些节省还可以更大。 在我们的设置中，首先调用更便宜的模型来处理 token 密集的上下文探索和提取，优化以暴露最高质量的上下文。 当最后调用前沿模型时，它已经掌握了上下文，只需一次调用就能写出正确的补丁。 正是这种架构让我们在 [SWE-Bench Pro](https://labs.scale.com/leaderboard/swebenchpropublic) 上达到了 80.8% 的解决率，同时每个任务仅花费 $5.99 —— 相比之下，其他混合方法（例如 [Fireworks AI 最近的"工作者 + 顾问"实验](https://fireworks.ai/blog/frontier-open-source-worker-with-closed-source-advisor)）在追求降本的同时质量有所下降。

阅读原文（ai21.com）→

打开互动版