Agent Skills需有明确验收标准才能自我进化,人应指挥AI优化
以我的经验,只有明确的可以程序自动验收标准的 Skills 才能自我进化,比如说你写个 Skill 去优化代码性能,这个代码性能是可测量可量化的,那么给一些测试样例去优化 Skill,那么能越来越好。
对于一些没有明确的验收标准的 Skill,比如你写一个写作的 Skill,写作的好坏并没有很明确的验收标准,只能是 AI “自己打分”,但是这个打分其实和真实人类的体感还是有差距,AI 打分很好的稿子可能真人看起来一股 AI 味。
真想写好 Agent Skills,还是要人去用,人去指出优化的方向,才能优化好。
但有一点,没必要人自己去写 Skill,最好是人指挥 AI 去优化 Skill,AI 在具体执行上是做的蛮好的。
另外做好版本管理,一轮一轮迭代,有时候还会出现负优化,得回退到旧的版本。
对于一些没有明确的验收标准的 Skill,比如你写一个写作的 Skill,写作的好坏并没有很明确的验收标准,只能是 AI “自己打分”,但是这个打分其实和真实人类的体感还是有差距,AI 打分很好的稿子可能真人看起来一股 AI 味。
真想写好 Agent Skills,还是要人去用,人去指出优化的方向,才能优化好。
但有一点,没必要人自己去写 Skill,最好是人指挥 AI 去优化 Skill,AI 在具体执行上是做的蛮好的。
另外做好版本管理,一轮一轮迭代,有时候还会出现负优化,得回退到旧的版本。
什么?! skill 也能"训练"了?
以往大家都是凭经验让AI写 skill, 然后调试的时候也是运行几下感觉没bug就完事了.
但 skill 能运行就一定好吗? 于是微软联合上交复旦同济等机构发了一个新框架 SkillOpt, 直接让AI评估skill写的好不好然后不断去优化!
最终, 这个框架写的 skill https://t.co/D4KxyjoxlP