Inkling-Small语言模型发布,速度更快,支持语音交互。
RT @andimarafioti: 刚刚,Thinking Machines发布了Inkling-Small:共276B参数,活跃12B。一个更快的Inkling,在许多基准测试中匹配或超越其975B的大哥。
为了测试其速度,我们将其接入HF的语音转语音。音频直接输入模型,它使用faster-Qwen3TTS回复。运行在8x RTX Pro 6000 Blackwell上,我们在500毫秒内得到音频回复。
普通Inkling需要2TB显存,而这个模型只需一个节点。
因为模型直接听到音频而不是转录文本,它可以听到你的语调和情绪。你可以在视频中查看。
或者直接去空间试试!非常有趣的模型:
https://t.co/KBwMUx0G7l
https://t.co/2uIvWG1pYU
为了测试其速度,我们将其接入HF的语音转语音。音频直接输入模型,它使用faster-Qwen3TTS回复。运行在8x RTX Pro 6000 Blackwell上,我们在500毫秒内得到音频回复。
普通Inkling需要2TB显存,而这个模型只需一个节点。
因为模型直接听到音频而不是转录文本,它可以听到你的语调和情绪。你可以在视频中查看。
或者直接去空间试试!非常有趣的模型:
https://t.co/KBwMUx0G7l
https://t.co/2uIvWG1pYU