斯坦福与 Together AI 提出 NCM：文本生成先写概念提纲，速度最高快 31 倍
NCM 把图像生成的下一尺度预测搬到文本上，先出提纲再逐层细化，在质量持平的前提下比扩散语言模型快 10 至 31 倍，是文本生成范式的一条新路线。
现有大模型逐字生成文本，扩散语言模型并行去噪但迭代开销大。斯坦福与 Together AI 提出 Next-Concept Modeling（NCM，下一概念建模），借鉴图像生成的「下一尺度预测」，让模型先并行写出粗略的概念大纲，再逐层并行补细节。实验中以相近或更好的质量，比扩散语言模型快 10 至 31 倍。
正文摘录
.jpg) 编辑｜泽南 如今的大模型再聪明，输出内容也是一个字一个字往外蹦。有没有一种可能：真正的 AGI 不是这样？ 近日，斯坦福大学与 Together AI 的研究者提出了一种既不同于自回归，也不同于扩散的第三种文本生成范式。他们把 NeurIPS 2024 最佳论文 VAR 在图像上的「下一尺度预测」配方搬进文本，让模型先并行写出几句话的「概念大纲」，再逐层并行填充细节，直到还原成完整文字。 于是新模型就叫 Next-Concept Modeling （NCM，下一概念建模），对主流的 Next-Token Modeling（下一 token 建模）来了个正面叫板。  在若干实验中， NCM 以相近或更好的质量，实现了相对扩散语言模型 10—31 倍的生成速度 。