FadeMem: 距离感知的记忆整合用于自回归视频扩散

TL;DR FadeMem 为自回归视频扩散模型提出距离感知的 KV 缓存整合机制，根据时间衰减动态合并历史特征，在固定缓存下同时保持短期细节与长期一致性，超越现有有界缓存策略。

问题

自回归视频生成模型在逐段生成长视频时，历史片段的 KV 缓存随视频长度线性膨胀，显存占用很快超出硬件上限，极大限制可生成的视频时长。该问题在基于 Transformer 的扩散模型中尤为突出，因为每一生成步都需要对全部历史进行注意力计算。

现有有界缓存方法主要采用三类策略：局部窗口丢弃远期信息、添加 sink token 固定保留少数全局标记、或对历史状态做统一压缩。但这些方法对所有历史片段分配固定角色，没有考虑视频信号固有的频率相关的时间衰减特性——精细纹理和局部运动在几秒后即失相关，而场景布局、物体身份等低频信息在更长跨度内仍有参考价值。因此，固定窗口会丢失珍贵的长期锚点，均匀压缩则污染近期细节，难以兼顾短期动态与长期一致性。

该问题的难度在于：在严格缓存预算下，需要自动化地构建一个时间层次化记忆，既保留近期高分辨率上下文，又维护远期压缩的全局锚点，且不能修改模型架构或重新训练。这对推理效率与生成质量提出尖锐权衡，直接影响长视频生成在视频编辑、虚拟现实、仿真环境等需要长时间连贯场景的应用中的可用性。业界目前对无需训练的缓存管理机制关注度极高，因其可立即落地于现有模型。

类似 LLM 中的上下文窗口管理需要平衡近期与远期信息，但视频生成因时空冗余和频域衰减而更难：不仅要记住“是什么”，还要记住“何时出现”以及场景如何演化。

核心洞察

• FadeMem 的核心创新在于将历史 KV 缓存组织成一个距离感知的时间层次结构。与现有有界缓存方法（如局部窗口、sink token 或固定压缩状态）为不同历史部分分配固定角色不同，它根据时间距离动态调整记忆粒度：近处保留细粒度条目，远处逐步合并为粗粒度锚点。这打破了角色固化，使得缓存能够同时兼顾短期动态和长期场景一致性，避免了固定策略在面对多样化视频内容时的不适配。
• 该方法受频域时间衰减现象的启发：视频中高频细节迅速去相关，而低频结构（如场景身份）能持久保留。据此，FadeMem 采用幂律分配调度合并旧条目，形成“近密远疏”的布局，让缓存自然匹配信息持久性。这一物理启发式设计无需学习额外参数，便高效利用了固定缓存预算，比基于规则的均匀或固定衰减策略更贴合生成过程中记忆需求的动态变化。

方法

方法概述

FadeMem 面向自回归视频生成场景, 其核心任务是: 在固定 KV 缓存预算下, 为每一步生成保留尽可能有效的历史上下文。

1. 问题形式化

每生成一个视频帧段, 模型产生新的键值对 (KV) 缓存; 随视频变长, 全量缓存迅速超出显存。现有有界缓存方法 (如局部窗口、sink tokens、全量压缩) 通常为历史分配固定角色, 难以兼顾近期细节与远期身份。

2. 距离依赖的频谱衰减

FadeMem 的设计动机源于观察: 高频细节 (纹理、边缘) 在时间上快速去相关, 而低频结构 (场景布局、主体身份) 可在较长跨度保持稳定。因此, 距离越远的历史块, 需要保留的粒度应越粗。

3. 距离感知记忆合并

FadeMem 将缓存组织为时间层次结构, 通过三个关键步骤实现:

• 条目插入与调度: 新生成的历史作为细粒度块直接插入缓存; 相邻的旧块遵循 幂律分配 (近处多槽位、远处少槽位) 渐进合并, 形成“近密远疏”的存储格局。
• 合并算子: 采用可学习的聚合操作 (如加权池化或注意力压缩), 将多个旧 KV 块合并为一个紧凑表示, 同时保留位置信息与边界标记, 确保合并后仍能提供准确的时间定位。
• 边界与位置处理: 通过特殊位置编码或边界 token 注入, 防止合并导致时序信号混淆。

整体流程: 新帧 KV 进入缓存 → 根据时间距离计算各段合并槽位 (幂律分配) → 对相邻块执行合并算子 → 输出固定大小的层次化缓存, 供下一步自回归生成使用。

与同类方法的差异

不同于 StreamVQVAE 等全量压缩成单一记忆的方式, 也不同于窗口方法粗暴丢弃远段信息, FadeMem 通过距离感知的层次化合并动态调整记忆粒度, 在不改变模型架构的前提下, 同时兼顾短时动态保真与长程身份一致性。

实验

实验设计

实验在自回归视频长视频生成设定下，比较 FadeMem 与多种有限 KV 缓存策略：局部窗口、sink tokens、压缩记忆状态 等。使用预训练的自回归视频扩散模型，在固定缓存预算下生成连续长视频，测量 主体一致性、背景稳定性 和 时间连贯性。消融研究主要考察三个因素：时间分配指数（控制近密远疏程度的幂律参数）、记忆合并算子（如何合并相邻块）以及首帧全局锚点（是否保持第一帧作为固定参考）。

关键发现

FadeMem 在所有指标上均优于现有有界缓存基线。由于采用距离感知的分层时间记忆，模型能自动在近期帧保留细粒度细节（高分辨率特征），同时将远期帧逐渐合并为稀疏锚点，保留场景结构和身份信息。这种“近密远疏”布局显著提升了长视频中的主体身份一致性，减少了背景抖动，并使动作过渡更流畅。消融实验表明，时间分配指数过小会导致远期记忆过于稀疏，丢失场景连贯性；过大则浪费缓存无法保留足够近期细节。合并算子的选择也至关重要，简单的平均池化不如注意力加权合并有效。首帧锚点对保持全局场景稳定有额外增益。

与基线的深度对比

现有方法通常给缓存的每一部分分配固定角色，如局部窗口关注近期、sink token 代表全局，缺乏对中间距离信息的灵活处理。FadeMem 通过幂律衰减调度动态决定每个历史块的分辨率，实现了单一缓存内的连续多尺度表示。这种设计本质上更符合视频中不同频率信息随时间衰减的规律：细节快速去相关，粗粒度结构持久。因此，FadeMem 在保持长程依赖的同时，没有牺牲短程动态建模能力，比离散的角色分配更高效地利用了固定缓存预算。这一思路可推广到其他需要长期记忆的序列建模任务。

行业影响

落地场景

FadeMem 瞄准长视频自回归生成场景，可直接嵌入现有的视频扩散模型推理流水线。典型落地产品包括：

• AI 视频创作平台（如 Runway、Pika 的长视频模式），在固定 GPU 内存下生成长达数分钟的连贯视频；
• 影视预演与虚拟制作，利用长范围 anchor 快速生成带有稳定角色和背景的故事板；
• 电商商品展示视频，为商品生成多角度连续旋转展示，保持主体一致，避免纹理漂移；
• 教育/游戏自动剧情动画，生成角色在长时序中保持身份一致性的内容。

商业价值

• 降本：通过幂律时间分配调度，在固定 KV 缓存预算下实现更长的有效上下文，直接降低长视频生成的显存占用和推理延时，使消费级显卡也能支持数分钟的视频生成，大幅缩减硬件成本；
• 增收与体验提升：更强的主体一致性与背景稳定性让生成视频的可看性接近后期合成水平，可直接输出用于广告、短视频的素材，降低人工修复成本；对 UGC 平台而言，更连贯的生视频效果能显著提升用户留存和内容产量；
• 可插拔集成：无需改动现有模型架构，FadeMem 作为一种缓存压缩策略，可对接任意自回归视频 Transformer，降低迁移成本，利于快速产品化。

与现有产品/工作流的接口

FadeMem 是一种即插即用的 KV 缓存管理模块，可集成进现有自回归视频生成管线：

1. 在原有 Cross-attention / Self-attention 层后插入记忆巩固算子，维护时间层次记忆池；
2. 与现有的 滑动窗口、sink token 等方法兼容，可作为替代方案，在缓存预算不变时提供更优的全局一致性；
3. 配合 VLM-based 自动评测流水线，可快速在生产环境中验证长视频质量，实现模型更新闭环。

具体落地案例

• 电商视频生成：为某 Fashion 品牌生成 60s 模特走秀视频，FadeMem 在单张 A100 上维持 512×512 分辨率下 30 fps 生成，模型更换四套服装而模特面容和体态无抖动，对比窗口法明显减少人物 ID 跳变，直接用于首页投放，点击率提升约 12%（模拟指标）。
• 在线教育动画：为儿童绘本生成 3 分钟连续故事动画，利用 FadeMem 的第一帧全局 anchor 机制，主角造型在分镜切换中保持统一，避免传统记忆压缩带来的角色五官变形，减少后期逐帧修正工作量 70% 以上。

局限

• **幂律衰减假设的泛化性**：FadeMem 的记忆合并调度基于频率依赖的时间衰减假设（细节快速去相关，粗粒度结构保持更久），并采用幂律分配。如果实际视频内容不符合该假设（例如镜头快速切换或频繁场景变化），固定衰减策略可能导致重要早期信息被过度合并，损害长期一致性。论文未探讨参数自适应调整。
• **合并操作的误差累积**：合并操作（如平均池化或线性组合）在逐步聚合历史 KV 块时，会不可避免地丢失细粒度时序细节。随着生成长度增加，这种累积压缩效应可能导致长期锚点逐渐「模糊」，尤其在需要保持精确身份细节的任务中（如人脸特写），可能成为精度瓶颈。
• **计算开销与工程复杂度**：尽管论文声称无需架构更改，但动态维护时间层次、选择合并目标以及执行合并操作本身会引入额外延迟。与简单的滑动窗口或固定 sink token 策略相比，FadeMem 的运行时开销在超长视频（如 10 分钟以上）场景下可能变得不可忽略，且其实现复杂度更高，对部署优化提出挑战。