Databricks 对百万行级代码库上的编码代理进行基准测试
Databricks 的基准测试表明，编码代理选型需匹配任务复杂度，中端模型性价比更优，GLM 5.2 有望成为日常驱动模型。
Databricks 基于自己百万行真实代码库测试了多种编码代理（模型与工具链的组合）。结果显示，高端模型虽然能解决复杂问题但成本高，中低端模型在常见任务上同样高效且便宜。例如 GLM 5.2 在顶级梯队中与 Opus 4.8 质量相当，但任务成本更低。此外，token 单价不能反映总成本，不同工具链（如 Claude Code vs Pi）执行同一模型时成本可差两倍。
正文摘录
Databricks 百万行级代码库上的编码智能体基准测试 作者：Vinay Gaba , Ankit Mathur , Rishabh Singh , Patrick Wendell 和 Matei Zaharia 在 Databricks，随着我们大力采用 AI 辅助工程，软件开发方式正在迅速变化。过去一年间，用于代码编写的模型和工具链（harness）生态急剧扩张，为开发者提供了前所未有的选择。面对更多选项，了解哪些编码智能体（coding agent）能在真实编码任务中提供最佳性能，以及任务性能如何随价格变化，变得愈发重要。 本文分享了我们在 Databricks 内部构建的编码基准测试的结果与方法。该基准评测工具在工程师实际处理 Databricks 代码库的编码任务上的表现。任务涉及对数十万行代码（覆盖 Python、Go、TypeScript、Scala 等流行语言）进行编辑，且任务与解决方案都经过仔细审核以确保准确性。这并非意在全面，但这一实践揭示的洞见已显著提升了我们工程团队使用编码智能体的效率。下图展示了各类模型与工具链在整体基准上的得分： 图 1：成本 vs. 性能（我们的基准测试） 我们的分析主要得出以下结论： - 具体得分相差几个百分点在实际任务中往往可以忽略。我们更关注那些能帮助我们判断不同任务应该使用哪种模型的模式化趋势。事实上，结果清晰地将模型和工具链分为三个能力层级。 图 2：整体结果中出现三个不同的能力层级，各层级内哪些模型有效呈现细微差别 - 在性能高端，我们看到最智能的模型非常擅长解决各类问题，但成本极高。中等和低智能模型在常见任务上仍然高效，且在许多情况下成本显著更低。日常工作中，工程师会做很多复杂程度差异巨大的事情：像切换标志或更新配置这样的常见操作任务不需要极其智能的模型，但深度的设计探索则需要。