Agnost AI 分析生产环境中AI代理的用户对话,自动发现静默失败、幻觉和用户情绪,帮助开发者定位问题并优化代理行为。 热门评论 PH 用户嘿,Product Hunt!我是 Shubham 👋我和 Parth 几乎会试用每一个遇到的 AI 产品(我们就是两个好奇的年轻人)。然后我们总在经历同样的事情:某个产品带着一个离谱的宣称上线,他们的智能体前 10 分钟还感觉挺神奇,接着就说自己完成了根本没做过的事,编造一个链接,或者让我们重复三遍。然后我们就会给创始人发消息,得到的回复是:这真是很有用的反馈,我们完全没意识到。我们就会想:等等,你们手里明明有完整的对话和 trace,为什么还要我们来告诉你?结果发现,他们的 AI 可观测性仪表盘显示的是成功请求:200 OK,工具调用成功,响应已生成。失败只有真的去读对话才能看出来。所以我们做了 Agnost AI。Agnost AI 会阅读聊天和语音智能体的每条生产环境对话,并把它们归类为重复出现的失败、行为漂移、幻觉链接、用户沮丧、功能需求和流失信号,同时标注出每个问题背后的具体用户和对话。然后你可以创建 eval,或者让你的编程智能体去调试并修复问题。因为 eval 测试的是你已知的问题,你没法为还没发现的问题写 eval。Agnost AI 三行代码就能接入,或者通过 OpenTelemetry 接入,现在已经每天分析超过一百万条消息。如果你在运行面向用户的智能体,就把它接上。我会亲自帮你找出你的对话中你可能不知道的三件事。另外,你现在是怎么发现 eval 覆盖不到的问题的:靠用户投诉、人工阅读 trace,还是其他方式?PH 用户恭喜团队上线!!!我试玩了一下产品,感觉特别流畅。PH 用户恭喜上线!加油,团队!PH 用户一直在等这样的产品。恭喜上线!PH 用户你注意到编造的链接在仪表盘上依然显示 200 OK。恭喜你们做出了真正会阅读对话的产品。PH 用户这也太酷了吧! 热门产品Shubham2026-08-25原文 打开互动版
我和 Parth 几乎会试用每一个遇到的 AI 产品(我们就是两个好奇的年轻人)。
然后我们总在经历同样的事情:某个产品带着一个离谱的宣称上线,他们的智能体前 10 分钟还感觉挺神奇,接着就说自己完成了根本没做过的事,编造一个链接,或者让我们重复三遍。
然后我们就会给创始人发消息,得到的回复是:这真是很有用的反馈,我们完全没意识到。
我们就会想:等等,你们手里明明有完整的对话和 trace,为什么还要我们来告诉你?
结果发现,他们的 AI 可观测性仪表盘显示的是成功请求:200 OK,工具调用成功,响应已生成。
失败只有真的去读对话才能看出来。所以我们做了 Agnost AI。
Agnost AI 会阅读聊天和语音智能体的每条生产环境对话,并把它们归类为重复出现的失败、行为漂移、幻觉链接、用户沮丧、功能需求和流失信号,同时标注出每个问题背后的具体用户和对话。
然后你可以创建 eval,或者让你的编程智能体去调试并修复问题。
因为 eval 测试的是你已知的问题,你没法为还没发现的问题写 eval。
Agnost AI 三行代码就能接入,或者通过 OpenTelemetry 接入,现在已经每天分析超过一百万条消息。
如果你在运行面向用户的智能体,就把它接上。我会亲自帮你找出你的对话中你可能不知道的三件事。
另外,你现在是怎么发现 eval 覆盖不到的问题的:靠用户投诉、人工阅读 trace,还是其他方式?