AllModels
面向开发者的多模型路由与比价平台,可跨供应商调用语言模型并自动回退,方便比较可用性和价格。
热门评论
模态感知选择是我会先测试的部分,因为一个对文本选择得好的 router,换到其他输入上仍可能失灵。把可用性和 token 价格放在一处对比后,实际的问题是:回退会不会在请求中途改变成本,还是说提前报出的价格就是你最终实际支付的价格。
回退情况是我希望在响应元数据里看到的。请求成功,也可能意味着实际处理它的是另一家提供商或另一个模型。
面向开发者的多模型路由与比价平台,可跨供应商调用语言模型并自动回退,方便比较可用性和价格。