XS 2.1支持多种推理框架和量化格式
RT @poolsideai: 我们也在努力让XS 2.1更容易在托管端点之外运行。
XS 2.1支持vLLM、SGLang、TensorRT-LLM、Hugging Face Transformers和@ollama，提供BF16、FP8、INT4和NVFP4检查点。
我们正在发布DFlash推测模型以及检查点以加速推理。
llama.cpp支持和GGUFs即将推出。我们听到了你们的声音。
https://t.co/RlfF2dWNd1
XS 2.1支持vLLM、SGLang、TensorRT-LLM、Hugging Face Transformers和@ollama，提供BF16、FP8、INT4和NVFP4检查点。
我们正在发布DFlash推测模型以及检查点以加速推理。
llama.cpp支持和GGUFs即将推出。我们听到了你们的声音。
https://t.co/RlfF2dWNd1