AgentX

嘿，Product Hunt！👋

AI智能体越来越强大，但评估和调试它们仍然很痛苦。

我们构建了AgentX评估框架，帮助团队在故障影响生产之前测试、评估和监控AI智能体。

可以理解为AI智能体的CI/CD+可观测性：
• 创建评估套件
• 跨供应商比较模型
• 端到端追踪故障
• 获取AI驱动的根因分析和建议修复

它也支持多个智能体平台。

我们的目标很简单：帮助团队自信地交付可靠的AI智能体。

很想听听，在AI智能体评估或调试中，你最大的挑战是什么？

最难的部分是把评估失败转化成行动边界，而不仅仅是一个分数。

对于智能体工作流，我希望每个失败案例都能显示出接下来会触发哪个工具调用或写入操作，它接触了什么状态，以及下次需要什么凭证或审批来阻止它。你们现在是在评估用例中建模外部副作用，还是主要关注消息/工具的正确性？

我喜欢"AI智能体的CI/CD"这个说法。

在AgentX中，一次失败的部署长什么样？团队能不能设定质量阈值来阻止发布？

同一个智能体在多个LLM供应商上运行来比较成本/延迟，这个功能真的太被低估了。

你们目前支持多少家供应商？

是时候评估一些智能体了。

那个评估套件加上多提供商模拟运行（基本上就是智能体的 CI/CD）是我会最先接入的部分——预生产环境下的智能体调试恰恰是我最耗费时间的地方。评估套件和追踪信息实际存在哪里：是每个项目存在 AgentX 的后台里，还是我可以导出并版本化到自己的 repo 里，以便在 CI 中运行？另外，跨 LLM 提供商模拟时，是我自己为每个提供商提供密钥，还是 AgentX 代理这些调用？