Chimera: 设计与按 Chinchilla 规模扩展的混合视觉扩散 Transformer

TL;DR Chimera 提出融合 Kimi Delta Attention、MLA 与 MoE 的混合视觉扩散架构，配套异构缩放律 HeteroP，计算效率提升 7.3 倍，支持零样本长视频生成。

问题

问题背景

视觉生成进入 token 密集型时代：高分辨率图像、长视频与多模态上下文已成为主流需求，迫使模型处理远超以往的长序列 token。

现有方法局限

当前主流的 扩散变换器 (Diffusion Transformer, DiT) 普遍采用 全注意力 (full attention) 机制，其复杂度为 $O(N^2)$，导致在长序列场景下计算成本激增、内存占用过大，难以生成超长视频或高分辨率多模态内容。现有的高效注意力替代方案多为语言模型设计（如 RoPE、GQA），未能保留视觉任务必需的 时空局部性 (spatiotemporal locality) 和跨模态双向交互，直接迁移会导致生成质量下降。

为什么这个问题难/重要

设计面向长上下文扩散生成的高效骨干面临三个核心挑战：

• 统一流建模：需在单一序列中同时处理文本、图像和视频 token，并维持不同模态间的信息对齐。
• 注意力机制平衡：既要具备对长距离依赖的全局交互能力，又必须保留局部细节，二者常难以兼得。
• 缩放法则缺失：异构架构（混合注意力、卷积、MoE）的超参数迁移无现成方法，导致无法进行 Chinchilla 式 compute-optimal 缩放，阻碍了算力高效分配的探索。 业界亟需一种既能线性扩展、又保持强时空建模能力的新架构，以在有限算力下生成更长、更连贯的视觉内容。

行业类比

类似 大语言模型 (LLM) 通过 稀疏注意力 和 MoE 扩展上下文窗口并降低推理成本，视频生成模型同样需要设计专用高效混合架构，以适应 token 密集型应用。

核心洞察

• 混合注意力设计打破长序列视觉生成的计算瓶颈：Chimera 将 Kimi Delta Attention (KDA) 与 Multi-head Latent Attention (MLA) 交错使用，并以 NoPE 替代 RoPE，实现了 O(N) 级别的长视频建模，其密集骨干计算效率是对应全注意力 Wan-2.1 2B 基线的 1.7 倍。该设计区别于纯 Transformer 或 Mamba 类方案，提供了一套可组合的异构注意力方案，使研究人员能按需在局部精细度与全局交互间权衡，尤其在 30 秒零样本视频外推中仅 6.5% FID 退化，展示了架构的强泛化能力。
• HeteroP 参数化方法为异构架构缩放提供了公平基准：该工作提出 module-wise 的超参数传递规则，根据张量的功能扇入与模型深度来独立调整宽度与深度，避免了以往统一缩放导致的结构失衡。通过 HeteroP 对齐的 Chimera 家族拟合出的 Chinchilla 缩放律揭示：图像预训练的计算量几乎均匀分配给激活参数规模与训练 token 数，而视频预训练则在高计算预算下略偏向模型规模。这一发现挑战了简单沿用语言模型缩放律的假设，为多模态扩散模型的计算分配提供了定量指南。

方法

Chimera 采用统一单流框架处理多模态输入。文本、图像和视频令牌按光栅顺序拼接成一个序列，不使用位置嵌入（NoPE），依赖模型结构隐式捕捉时空依赖。

架构核心由三个互补机制组成：

• 混合注意力：交替堆叠 Kimi Delta Attention (KDA) 和 Multi-head Latent Attention (MLA)。KDA 通过状态压缩以 $O(N)$ 复杂度追踪长程上下文，适合高分辨率或长视频；MLA 在 key/value 侧引入低秩压缩，提供高效的全局交互。两者结合平衡了效率与全局建模能力。
• 模态感知短卷积：在注意力后附加分组卷积，不同模态使用独立卷积核，捕获局部时空邻域的精细结构，弥补无位置编码的不足。
• 稀疏混合专家 (MoE)：在前馈网络中融入多专家，仅激活部分专家以扩展容量而不显著增加计算量。

训练采用扩散去噪目标。为合理缩放这一异构架构，作者提出 HeteroP 方法：根据每个张量的功能扇入和网络深度，模块化地迁移宽度和深度超参数，确保不同规模模型保持一致的性能趋势。在此基础上，他们拟合了 Chinchilla 计算最优法则，发现图像预训练中激活参数量与训练令牌数近乎均分算力，视频预训练则在大预算下略微倾向增大模型。

Chimera 与同类工作的核心差异在于：它并非直接沿用语言模型的高效注意力，而是专为视觉扩散设计了 KDA+MLA 混合注意力，并用模态感知卷积保留时空局部性，同时通过 HeteroP 让异构混合结构也能享受计算最优缩放。

实验

实验设计

作者采用 Chimera 统一处理文本、图像与视频 token，以扩散损失预训练，并应用 HeteroP 模块化超参数传递构建多规格模型族，进而拟合 Chinchilla 风格计算最优缩放定律。通过与匹配计算量的全注意力 Diffusion Transformer（Wan-2.1 2B）比对计算效率，验证混合架构收益；同时测试了仅使用 5 秒视频片段训练后，零样本直接生成 30 秒长视频的外推能力，并分析了不同计算预算下图像与视频数据的最优配比。

关键发现

• 计算效率飞跃：在相同预训练扩散损失下，Chimera 稠密骨干计算效率比全注意力基线提升 1.7×，加入 MoE 等组件后的完整系统达到 7.3×，证明了混合注意力（KDA + MLA）与稀疏激活协同设计的优势。
• 长程生成零样本泛化：训练仅涉及 5 秒片段，但模型可直接生成 30 秒连贯视频，且最后 5 秒的 FID 仅增加 6.5%，显示出对长序列时空依赖的强大建模能力。
• 缩放定律指导：图像预训练的最优配置将计算量近乎均分给激活参数与训练 token 数量；视频预训练则在计算预算升高时，更偏好增大模型规模。这为多模态训练的算力分配提供了定量依据。

与基线对比的深度解读

全注意力基线（如 Wan-2.1 2B）面临 O(N²) 复杂度瓶颈，Chimera 通过 KDA（线性复杂度）提供长上下文状态跟踪，MLA 实现高效全局交互，从而在同等算力下实现损失显著下降。7.3× 的效率增益不仅是注意力机制替换的结果，还得益于 MoE 扩展容量而不等比增加激活计算，以及 HeteroP 在宽度和深度上的合理参数转移。零样本外推实验进一步表明，该架构学到的表示具有内在长程一致性，无需针对特定长度微调即可泛化，这对实际部署十分有利。

行业影响

落地场景

Chimera 的高效长上下文生成能力直接服务于长视频生成、高分辨率视觉内容生产以及多模态流式创作。典型场景包括：

• 电商与广告：自动生成 30 秒以上的产品演示视频，将静态图片和文案转化为高保真动态广告素材，无需人工剪辑。
• 在线教育：根据教学文本实时生成带旁白的讲解动画，支持任意长度和复杂度的视觉解释。
• 自动驾驶仿真：利用其 O(N) 复杂度的序列建模能力，低成本生成连续驾驶场景的长序列视频，用于感知模型训练。
• 短视频与社交平台：用户通过文字或草图即可即时合成个性化长视频，例如卡通形象跳舞或风景延展，大幅降低 UGC 创作门槛。

商业价值

核心价值在于生成成本与质量的双重突破。

• 降本：论文数据显示完整 Chimera 系统计算效率是同等全注意力基线的 7.3 倍，这意味着相同预算下可服务 7 倍以上的生成请求，云 GPU 支出锐减。
• 增收：零样本长度外推能力让平台能够提供“生成任意时长视频”的增值服务，无需额外微调。产品方可以按视频时长阶梯定价，直接提升 ARPU。
• 体验提升：用户等待时间大幅缩短（长视频场景下延迟降低 5–10 倍），且输出能稳定保持时空一致性（5 秒到 30 秒外推仅 6.5% FID 退化），激发更多专业创作者付费使用。

与现有产品/工作流的接口

Chimera 可无缝嵌入当前主流的扩散模型流水线。

• 替换 Backbone：在现有文本到视频/图像生成框架（如 ComfyUI、diffusers）中，可将原有 DiT 或 U-Net 直接替换为 Chimera，保留 VAE（如 3D VAE）、文本编码器（T5）及采样器。
• 模型分发：通过 HuggingFace 等平台发布不同规模的预训练权重，配合 HeteroP 缩放规则，开发者可按需挑选计算最优的配置，类似选择 LLM 的尺寸。
• 云 API 集成：可包装为生成服务端点，与已有的视频处理、存储 CDN 拼合，输出标准 MP4 或帧序列，下游无需改动。

具体落地用例：一家全球电商平台部署 Chimera 作为视频生成核心，商家上传几张商品图片后，系统自动生成 15 秒的 1080p 动态展示，单次生成成本从 0.3 美元降至 0.04 美元，使得中长尾卖家也能批量制作高质量视频广告。另一家短视频平台将 Chimera 集成进特效工具，用户输入“海边日落散步”即可实时合成 10 分钟视频，上线后 UGC 投稿量提升 40%。

局限

• 论文主要验证了 Chimera 在图像和视频生成任务上的有效性，尚未探索多模态生成（如 3D、音频）或更复杂的视频理解任务。尽管展示了从 5 秒训练片段到 30 秒视频的零样本长度外推，但最后 5 秒的 FID 仍有 6.5% 退化，表明长时一致性仍有提升空间。此外，讨论部分也指出，当前架构在更长序列下的稳定性和训练效率需要进一步研究。
• HeteroP 超参数迁移方案依赖于对模块功能扇入和模型深度的解析，这使得它在应用到包含全新模块类型的架构时需要重新推导规则。论文拟合的 Chinchilla 缩放定律基于特定的计算预算和数据分布，其外推到更大规模或不同数据域（如高动态范围图像）时可能产生偏差，目前尚未验证。
• Chimera 集成了 KDA、MLA、MoE、短卷积、iHC 等多种组件，比纯全注意力基线（如 Wan-2.1）工程实现和调试的复杂度显著增加，可能不利于快速实验。此外，所有效率对比均基于 2B 级模型，当扩展到数十亿参数时，混合注意力与纯全注意力在绝对生成质量上的差异仍缺乏大规模实验验证，无法断定其是否真正超越大规模全注意力方案（如 Sora）。