Hugging Face Transformer模型现可在vLLM原生运行

RT @ClementDelangue: 开源AI推理的重大突破：Hugging Face Transformers模型现在可以在vLLM中以原生速度运行，通常能匹配或超越手写实现。

此前，每个新架构往往需要构建两次：
- 一次在Transformers中用于训练和研究
- 再次在vLLM中用于快速生产推理

这种重复拖慢了新模型的速度，增加了维护成本，并为实现出现分歧创造了空间。现在，模型作者可以在Transformers中实现一次架构，并立即受益于vLLM优化的推理堆栈。

在我们的基准测试中，Transformers后端在4B到235B参数的模型上匹配或超越了原生vLLM的吞吐量，包括张量并行和MoE设置。一个可读的模型实现现在可以支持训练、微调、评估、RL rollout和生产推理。

传统观念认为抽象会让系统变慢，但最好的抽象能让整个生态系统更快。

模型编写一次。随处部署。

https://t.co/nTXcwAV0Bf