llama.cpp 新增决策模型支持,已适配 5 个 144M–27B 开源模型

RT @ngxson:llama.cpp 现在支持决策模型 🚦

路由工单、审核内容,或选择 agent 的下一步:提出带类型的问题,即可为每个选项得到概率。

目前已支持 5 个开源模型,规模从 144M 到 27B:
https://t.co/zKxoqvxJdY