热门产品

iwant

iwant

iwant 是一款一键部署开源大模型的命令行工具,为开发者自动寻找 GPU 并完成 vLLM 配置,快速提供 OpenAI 兼容 API。

热门评论

PH 用户
我们做 iwant,是因为想试一个开源模型,常常最后会变成搞基建项目。光是找一个有足够可用 GPU 的区域,都可能要花不少时间。

运行 iwant up,挑一个模型,iwant 就会在 GCP 区域之间寻找可用的 GPU 容量。然后它会开通机器、下载权重、配置 vLLM。

你会拿到一个 OpenAI 兼容的 endpoint、一个 API key 和 SSH 访问。全都跑在你自己的云账户里,特别适合把 credits 用掉。

我们测试了模型配方,把硬件需求和服务配置整体抽象掉了。

带上你的 GCP 账户和 GPU quota,有 credits 也一起带上。用 --dry-run 查看计划,完事后用 iwant down 删掉集群。

接下来你想跑哪个模型?
热门产品Oskar Kocol2026-10-09原文

相关内容