Auriko Auriko 是一个 LLM 调用交易台，为开发者提供跨提供商的成本套利，通过智能路由平均降低 30% 推理费用。 热门评论 PH 用户前几辈子我是一名量化交易员，交易期权。当我开始用AI智能体构建东西时，我需要快速在不同的推理提供商之间切换模型。交易员那种追求最低价的心态一直促使我去搞清楚哪个提供商最便宜。这让我们一头扎进了比较推理成本的世界。我们发现成本不仅仅是表面的输入/输出token价格。我们的很大一部分开销来自缓存定价、缓存命中效率和路由选择。最终我们构建了一个系统来优化所有这些。然后把它做成了auriko.ai。PH 用户恭喜！把LLM调用比作交易台，这个框架我从来没见过，但一下子就明白了——模型成本确实像市场一样波动。我的问题是：当Auriko为了省钱把调用路由到一个更便宜的模型时，我怎样保证质量？我能不能按任务类型设置一个最低标准？如果面向客户的输出变差了，我通过投诉才知道，那节省40%的推理成本就毫无意义。PH 用户量化背景做这个确实很合理——套利本质上就是发现错误定价的价差，而不同提供商对缓存定价的差异正是这种机会。我想理解的矛盾点在于：prompt缓存通常鼓励在同一个会话中停留在同一个提供商，这样缓存才能保持温热，但一个按请求优化的路由器可能会让会话在不同提供商之间跳来跳去，每次都追求最低价，结果哪个缓存都没热起来。路由引擎是否会把缓存状态作为一个独立信号来考虑，比如“这个提供商已经为此上下文缓存了热数据，即使竞争对手当前名义上更便宜，也不要切换过去”？PH 用户很喜欢那个“LLM调用的交易台”的比喻。随着AI应用规模化，跨提供商的成本优化正成为一个真正的痛点。你们如何在节省成本的同时平衡输出质量和延迟，尤其是对于生产负载？PH 用户Auriko主要是事后的监控和比较LLM调用，还是在发送之前就决定调用应该路由到哪里？对开发团队来说，这个区别非常重要，尤其是当他们需要在不同的AI工作流之间权衡质量、延迟和花费时。PH 用户把LLM提供商当作交易场所来对待，这确实是懂套利的人提出的聪明框架。不同提供商之间的token价格差异是真实存在的，而大多数团队只是惯性使然，选一个模型就死磕到底。缓存行为优化是我更想深挖的部分，prompt缓存可以大幅降低重复性智能体工作负载的成本，但前提是你得把请求结构设计得能真正命中缓存。Auriko是自动处理这个，还是需要你设置一下请求发送方式？ 热门产品Michael Yang2026-07-09原文 打开互动版
这让我们一头扎进了比较推理成本的世界。我们发现成本不仅仅是表面的输入/输出token价格。我们的很大一部分开销来自缓存定价、缓存命中效率和路由选择。
最终我们构建了一个系统来优化所有这些。然后把它做成了auriko.ai。
你们如何在节省成本的同时平衡输出质量和延迟，尤其是对于生产负载？