动态

介绍opencode-bench基准测试方法,邀请参与项目

介绍opencode-bench基准测试方法,邀请参与项目
dax
好了,这里简单介绍一下opencode-bench以及你可以如何帮忙。我们一直追求一种能反映实际工作的基准测试方法,关键在于商业开源项目。这些项目盈利,由专业团队维护,有员工加入/离开,跨越各种语言和框架。因此它们看起来很像你在工作中的代码库,并受到类似的约束——只不过它们是完全公开的。所以我们可以把这些项目提取出任务,形式为:- 起始提交 - 目标提交 - 提示词。我们给opencode提供起始提交和提示词,让它运行,然后使用评分系统比较它与实际提交的差异。我们也会运行测试、lint等——所有更改被接受所需通过的检查。我们已经与一些最成功的COSS项目的朋友合作,但需要更多——目标是达到100个任务。如果你有项目应该包含在数据集中,请私信我。
动态dax2025-10-16原文

相关内容