Lev:用循环替代思维链,一套权重按需加深决策模型
决策模型不必为每道题都生成推理文本,靠循环层数就能按题目难度分配计算,难时多转几圈、易时一圈作答。
Lehigh 等机构提出 Lev,把决策模型(读入问题和候选项、一次前向就输出各选项概率的模型)建立在原生循环底座上:同一组解码层反复运行,每圈都读一次选项概率,再用一个轻量停止器按题目难度决定算几圈。在 JevBench 上,同一个 2.6B 权重从一圈 63.2% 升到四圈 76.2%。
正文摘录
.16.25.png)  本文作者来自 Lehigh University、University of British Columbia 与 Vector Institute。共同第一作者为 Lehigh University 博士生宋定杰(Dingjie Song)与 Zhiling Yan,通讯作者为 Lehigh University 助理教授 Lichao Sun。 让大模型「多想一会儿」,今天几乎等同于让它多写一些字:先生成一段思维链,再给出答案。 但在很多实际系统里,模型要做的只是一个选择:这条请求交给哪个工具,这段文本属于哪一类,几个候选动作里选哪一个。Jev、Kev 这类「决策模型」就是为此设计的。它们读入问题和候选项,一次前向计算就给出每个选项的概率,几十毫秒返回,不生成任何文本。 决策模型快,但计算量在训练时就定死了。简单题和难题花同样多的计算,遇到难题也没法多想一会儿。另一条路是让模型先写推理再作答,可这样每个问题都要为推理文本付费,简单题也不例外。