北大提出PRA，自回归图像生成135M模型反超1.9B基线
北大提出PRA，用降维和并行rollout近似解决像素空间自回归图像生成的核心瓶颈，小模型反超大模型，性能显著提升。
北京大学和深势科技提出PRA，一种针对像素空间自回归图像生成的方法。它通过预测低维中间态和并行构建rollout-like输入，解决了高维pixel token预测难和训练-推理分布不匹配两大瓶颈。135M参数的PRA-Small性能超越此前1.9B参数的pixel-space AR模型，511M参数的PRA-Large将FID降至1.94，刷新该领域纪录。
正文摘录
.jpg)  过去几年，扩散模型几乎定义了高质量图像生成：从随机噪声出发，经过多轮迭代，逐步 "雕刻" 出一张图像。但随着大语言模型席卷人工智能领域，另一条路线正迅速走到舞台中央 —— 图像，能否也像语言一样，通过自回归方式逐步生成？如果图像也能沿用同一套建模逻辑，视觉生成将更容易接入现有大模型体系，语言、图像乃至更多模态，也可能由此共享更加一致的模型架构与训练范式。 而在图像自回归的不同路线中，直接建模原始像素（pixel space）是最彻底的一种。它绕过额外的视觉 tokenizer（将图像压缩为离散符号的编码器），不再需要先将图像压缩成离散 token，也减少了编码、量化带来的信息损失与系统割裂。 然而，pixel-space AR（像素空间自回归）长期面临生成质量不佳的问题。来自北京大学和深势科技的研究者通过系统实验分析了制约其生成效果的瓶颈，并基于此提出了 Parallel Rollout Approximation（PRA）。在 ImageNet-1K 256×256 类条件生成任务上，135M 参数的 PRA-Small 已超过此前十亿参数级别的 pixel-space AR 模型；