推荐在DGX Spark上运行Step 3.7 Flash模型
匿名网友,如果你有DGX Spark,2026年最适合运行的模型是stepfun的step 3.7 flash。发布那天我就这么说了,在设备上使用一段时间后,我现在要更大声地说出来。
你看到的是一个198B参数的混合专家视觉语言模型,每个token约11B激活,Q4_K_S量化约104GB,在单个128GB的DGX Spark上通过Hermes Agent运行。
一台机器。它完整支持262K上下文,速度约25 tokens/秒,还能处理图像输入。我亲自在全上下文长度下测了那个速度。
推理、视觉、前沿规模,全部都能在一台机器上本地运行。人们一直在问128GB统一内存到底值得跑什么。这就是答案,而且从发布起就一直如此。
如果你买了一台Spark来本地运行前沿模型而不是租用,这就是该装在上面的模型。
你看到的是一个198B参数的混合专家视觉语言模型,每个token约11B激活,Q4_K_S量化约104GB,在单个128GB的DGX Spark上通过Hermes Agent运行。
一台机器。它完整支持262K上下文,速度约25 tokens/秒,还能处理图像输入。我亲自在全上下文长度下测了那个速度。
推理、视觉、前沿规模,全部都能在一台机器上本地运行。人们一直在问128GB统一内存到底值得跑什么。这就是答案,而且从发布起就一直如此。
如果你买了一台Spark来本地运行前沿模型而不是租用,这就是该装在上面的模型。