英伟达开源 PixelUMM：不依赖 VAE 与 ViT，在像素空间统一视频图像理解与生成
把 VAE 和 ViT 这两个中间层去掉，让理解和生成共用同一份像素输入，是统一多模态模型架构上的一次简化尝试
统一多模态模型通常要两套视觉表示：ViT 提取语义特征做理解，VAE 提供潜变量做生成，同一张图要以两种 token 进入上下文，视觉上下文因此变长。英伟达与滑铁卢大学提出 PixelUMM，把图像切成空间 patch、视频切成时空 tubelet，仅用一层线性投影把原始像素接入共享主干，理解与生成共用同一套注意力，用像素空间 flow matching 直接生成图像和视频，并在两类任务上取得有竞争力的结果
正文摘录
.025.jpg)  统一多模态模型（Unified Multimodal Models, UMMs）通常为理解和生成分别使用不同的视觉表示：用 ViT 提取理解所需的语义特征，用 VAE 提供生成所需的潜变量。这样一来，同一张图像要以两种 token 进入上下文，视觉上下文随之变长；这种双流接口也不同于视觉-语言模型（VLM）常用的单一视觉流，难以直接沿用成熟的 VLM 预训练流程。 近期的像素空间建模提供了另一条路：JiT 等工作表明，图像生成可以不依赖 VAE、直接在像素上进行。但将这一范式扩展到 视频 并非易事：视频生成通常依赖 3D VAE，视频理解则通常用图像编码器逐帧处理，两者表示时间维度的方式不同，如何设计理解与生成共用的视频接口仍是一个开放问题。 为此，英伟达与滑铁卢大学提出 PixelUMM，一个直接在像素空间中统一图像与视频理解和生成的无编码器模型。