AI Agent Token开销居高不下，路由成为成本优化核心
AI21 Labs提出用智能路由自动优化Agent token成本，在不牺牲质量的前提下缓解成本飙升。
Token开销问题不会消失，AI团队关注点已从“Agent够不够好”转向“能否规模运行”。主流方案是路由——自动将每个请求分给最便宜且能胜任的模型。但手工调优慢、模型更新就失效，需要自动化系统。AI21 Labs正在构建智能路由器，作为即插即用层实时削减浪费。
正文摘录
Spend isn’t going down. What now? 花费降不下来，那该怎么办？ sourcecompany: AI21 Labs 如今，Token 花费问题已是众所周知。而且它不会消失：Goldman Sachs 预计到 2030 年 Token 用量将增长约 24 倍（[link](https://www.goldmansachs.com/insights/articles/ai-agents-forecast-to-boost-tech-cash-flow-as-usage-soars)）。 这意味着 AI 领导者正在应对不同的问题。我们在自己的对话中也注意到了这一点。我们不再听到“我的 Agent 够好吗？”，现在的问题是：“我们负担得起大规模运行它吗？” 这种转变带来了新的技术挑战。团队需要自动化系统，既能减少浪费的 Token，又不损害 Agent 质量，并且随着模型、价格和工作流程的变化持续改进削减策略。 我们帮助公司在不牺牲质量的前提下减少 Token 花费。[[申请早期访问 →]](https://www.ai21.com/apply-for-access/) 这不只是新闻标题 我们与一家企业 AI 编程公司的 CTO 交谈过，他简洁地概括了当前局势：“我理解你花了 100 万美元的 Token，但影响是什么？没人能回答这个问题。” 团队知道需要削减成本，但有两个障碍挡在路上。在与数十个在生产环境中运行 Agent 的团队私下交流中，我们听到了这些： - 手动调优 Agent 缓慢且脆弱：每周都有新的优化方法发布，但并非每个技巧都奏效。一家 S&P 500 软件公司的 AI VP 告诉我们，他们用于将流量导向更便宜模型的路由规则，最终反而推高了成本——因为较弱的模型产生了长得多的轨迹。为每个用例找到正确的逻辑可能需要数周的实验。