开源决策模型 Laya 登上 Hugging Face 热榜,本地推理速度领先云端 Jev
开源模型 Laya 把「单步决策」这类低延迟任务放到本地跑,速度远超云端 Jev,说明大模型竞争还有一条被低估的路线。
Jev 走红后,开源多语言决策模型 Laya 在 Hugging Face 热门榜快速上升,并出现多个本地部署版本。社区测试显示,Laya 在设备端完成推理,决策速度可达云端 Jev 的十倍以上,内存占用约 1GB;差距主要来自本地推理与 API 往返的部署方式差异。
正文摘录
.jpg) 编辑|杨文 这几天,Jev 模型在开发者社区引发讨论。 有网友认为,Jev 看起来只是分类器,却具备零样本能力和接近前沿模型水平的智能。许多曾被忽略的传统机器学习思路,或许值得重新挖掘。  Karpathy 对此评论称,Jev 处在大语言模型帕累托最优曲线上的一个位置,满足了一类长期被低估的需求,这类任务不要求模型展开复杂思考,只需输出单个 token,在低延迟条件下完成足够可靠的判断。  Jev 走红后,一个名为 Laya 的模型也迅速受到关注。 Laya 是一款开源多语言 System 1 决策模型,基于文本输出概率完成分类和选择。网友将其称为「开源版 Jev」。