VibeVoice

微软开源的语音AI模型家族，包含ASR和TTS两大方向，核心创新是7.5Hz超低帧率连续语音标记器与下一标记扩散框架。ASR模型可一次性处理60分钟长音频并输出说话人/时间戳/文本结构化转录，TTS支持90分钟多说话人合成，还有轻量0.5B实时流式版本。集成了vLLM推理加速和Hugging Face Transformers支持，在多语言和细粒度控制上表现突出。研究向，非商用建议，需注意深度伪造风险。

打开互动版