LLM 思考需输出 Token,否则无效
LLM 的 “思考”是靠输出 Token 换来的,如果你让它“思考”,但是没有输出思考的内容,那么它其实等于没有思考。举例来说,以前我在分享“直译”->“意译”的提示词可以提升翻译质量时,特别说明了既要输出直译的内容又要输出意译的内容。当时就有网友就测试了,提示词里面定义它要“直译”->“意译”,但是只让它输出“意译”的结果,可想而知,这样并不能真正的提升翻译质量,因为它没有输出“直译”的内容(Tokens)作为参考。
这里的“分析”也是类似的,你让 AI “分析”,但是如果没有让 AI “分析”的结果以何种方式呈现,没有输出“Tokens”,那么就是假分析!
这里的“分析”也是类似的,你让 AI “分析”,但是如果没有让 AI “分析”的结果以何种方式呈现,没有输出“Tokens”,那么就是假分析!
我在调试 ReAct 的 prompt 的时候,又发现了一个很有趣现象,先讲一下我遇到的问题:
我期望模型先分析我上传的代码文件的内容然后再调用 mermaid 画图工具画出流程图,最后来一个总结性的发言。但是遇到的问题是模型把第一步分析漏掉了,直接调用 mermaid 画图工具了,这不是我想要的 https://t.co/BLVzT6yPHj