作者评价Prime Agent后认为不如官方harness,模型仍是瓶颈。
转推 @jjpcodes:使用 prime agent 一天后,我并不太信服。
他们在 pi 里加了些新东西,确实不错。把 IPython notebook 作为会话状态听起来很聪明……直到你意识到模型(即使是好的那批)写不好 Python(经常陷入无限 while 循环)。
记忆功能看似巧妙,但实际没用,因为所有记忆都是垃圾且错误。(下面有例子)。我已经有 20 来条了,没一条讲得通,对 agent 毫无用处。
子代理作为代码是好的,因为开箱即用效果不错(在 pi 里 vibe 出一个简单好用的子代理扩展很难)。
没有内置 codex 压缩,所以你得自己 vibe 进去。
/btw 内置的还不错。
sol 无论如何还是喜欢过度设计。
我的总体评价:在 harness 工程方面是有趣的构想。可能对某些基准测试有帮助,但真实世界里,相比官方 harness 帮助不大。
它绝对算不上 *差* 的 harness,我愿称其为一种有主见的 pi 安装。
最关键的制约因素是模型……(正如我发推多次提到的)仍然是 RL 油炸且愚蠢的(尤其是那些“好”模型)。遗憾的是 harness 似乎修不了这个。
他们在 pi 里加了些新东西,确实不错。把 IPython notebook 作为会话状态听起来很聪明……直到你意识到模型(即使是好的那批)写不好 Python(经常陷入无限 while 循环)。
记忆功能看似巧妙,但实际没用,因为所有记忆都是垃圾且错误。(下面有例子)。我已经有 20 来条了,没一条讲得通,对 agent 毫无用处。
子代理作为代码是好的,因为开箱即用效果不错(在 pi 里 vibe 出一个简单好用的子代理扩展很难)。
没有内置 codex 压缩,所以你得自己 vibe 进去。
/btw 内置的还不错。
sol 无论如何还是喜欢过度设计。
我的总体评价:在 harness 工程方面是有趣的构想。可能对某些基准测试有帮助,但真实世界里,相比官方 harness 帮助不大。
它绝对算不上 *差* 的 harness,我愿称其为一种有主见的 pi 安装。
最关键的制约因素是模型……(正如我发推多次提到的)仍然是 RL 油炸且愚蠢的(尤其是那些“好”模型)。遗憾的是 harness 似乎修不了这个。