分享 HuggingFace 推理端点部署模型体验，简单易用

转推 @NielsRogge: 你试过 @huggingface 的 Inference Endpoints 吗？它非常实用，允许你在按需 GPU 上使用 @vllm_project 或 @sgl_project 部署任何模型，并且可以选择缩到零。我用它在 https://t.co/nRLLeUdzP9 上支持搜索和相关论文功能，设置起来超级简单！我使用一个部署在 L4 GPU 上的 Qwen embedding 0.6B 模型。下面我会链接一个指南 :)