Intel发布INT4量化DeepSeek-V4模型
我们发布了两个由AutoRound量化的INT4 DeepSeek-V4模型:
https://huggingface.co/Intel/DeepSeek-V4-Pro-W4A16-AutoRound
https://huggingface.co/Intel/DeepSeek-V4-Flash-W4A16-AutoRound
这样即使没有MXFP4支持也能良好运行。 @IntelAI @huggingface @deepseek_ai
https://huggingface.co/Intel/DeepSeek-V4-Pro-W4A16-AutoRound
https://huggingface.co/Intel/DeepSeek-V4-Flash-W4A16-AutoRound
这样即使没有MXFP4支持也能良好运行。 @IntelAI @huggingface @deepseek_ai