LLMTest
LLMTest帮助开发者自动选择最优LLM模型并设置备用方案，提升AI应用的性能与可靠性。
Maker 说
嘿 PH！
我是 Tom，我做 LLMTest 是因为我自己遇到了一个难题。
我一直在纠结到底该选哪个 LLM 模型来给我的产品里加 AI 功能。
所以我就用 OpenRouter 和 Claude 给每个场景搭了自定义 web 应用。
但所有测试还是“手动”的，得我自己从 300 多个模型里挑出最终要用的。
我想其他人可能也有同样的问题。
于是我就做了 LLMTest：一个 API 和 MCP 服务器，让任何人（不管是写代码的还是靠直觉搭的）都能在自己的 AI 流程上跑自动测试，选出最优解。我还加了自动备用方案，这样即使 API 挂了或者没按预期返回 JSON，我的应用在生产环境也不会崩。
总结一下：
✅ 一个 API，一张账单，300 多个模型可用，每天更新。
🤖 让 Claude Code / Codex 用 LLMTest 来优化 AI 功能
🏆 在你的应用里用上更好、更快、更便宜的模型
↪️ 智能备用方案：跟超时、过载、坏 JSON 输出说再见
💰 按用量付费，5 美元起充，随时加钱。
很想听听你的反馈 ❤️
热门评论
选择正确的模型不再只是“哪个LLM最聪明”——它取决于成本、延迟、JSON可靠性以及具体的工作流。我喜欢LLMTest是用真实的AI流程来测试，而不是通用的基准测试。回退层对生产环境的应用也特别有用。你们计划展示模型性能随时间的变化吗？
看过之后，我走了一遍流程。首页很简洁，三步流程和定价部分都做得不错。但注册页面不太对劲——全黑背景，没有导航，没有提醒你正在进入什么，也没有“无需信用卡”的说明。你从设计不错的首页跳到一个感觉像不同产品的表单上。就在用户输入邮箱前的那个瞬间，很多人会重新考虑。小问题，但注册页面需要把首页的一些势头延续到表单里。产品本身看起来挺扎实。
自动回退部分对我来说是最强的吸引点。选择正确的模型很有用，但确保AI功能在提供方超时或返回错误JSON时不会崩溃，在生产环境中甚至更重要。