Steady-Forcing: 在长时域自然视频扩散中平衡空间持久性与运动连续性

TL;DR Steady-Forcing 通过 V-Sink 与 EMA-Sink 双槽记忆、缓存净化与任务型蒸馏，在固定机位长时序自然视频生成中分离并同时缓解背景漂移与动态停滞，首次实现多分钟连贯的流体运动与场景保持。

问题

问题背景

长时视频生成（long-horizon video generation）正从短片段拼接转向真正的流式自回归生成，其中 自回归视频扩散模型（autoregressive video diffusion models） 能够逐帧或逐段输出，无需预定义总帧数。领域当前的核心诉求是在数分钟级别的长序列中同时维持 空间稳定性（背景、物体布局不变）与 运动连续性（自然动态如水流、火焰不卡顿）。

现有方法局限

现有自回归方案普遍面临 稳定性-运动权衡（stability-motion trade-off）：

• 强稳定机制（如噪声调度、长程时间注意力）会过度平滑运动，使流水、火苗等流体呈现“纹理硬化”（texture hardening）或停滞；
• 弱稳定机制则导致背景布局逐渐漂移（layout drift），甚至出现场景突变。 在固定镜头场景中，这两种失败模式更易解耦，但先前工作未针对性设计记忆与训练策略。此外，通用基准 VBench 等聚合分数对固定镜头伪影不敏感，甚至将漂移引发的 光流 量误判为“动态程度”（Dynamic Degree），不直接惩罚纹理硬化或流停滞，使得定量评估失真。

为什么这个问题难且重要

技术挑战在于同一模型需对静态背景施加强约束、对动态流体施以弱约束，而这两者通过共享的时空注意力机制耦合。长时自回归过程中，误差累积会放大任何微小偏差：背景的轻微移动会逐渐破坏全局结构；运动的过度抑制会让流体失去自然随机性。业界对高保真、超长自然视频的需求日益增长（如虚拟环境生成、自动内容创作、气象可视化等），但若无法可靠地锁定背景同时保持动态，生成物将失去实用价值。该问题本质是在生成模型中解耦并独立维持内容尺度与运动尺度的表征，是视频生成走向实用的关键一步。

行业类比

类似文生图模型升级到文生视频时，维护角色一致性（ID preservation）与允许动作多样性之间的冲突：一旦追求角色严格不变，动作就可能僵硬；妥协动作自由度，角色特征又易漂移。Steady-Forcing 正是针对自然界场景的这项挑战。

核心洞察

• 自回归视频扩散在长序列生成中存在空间稳定性与运动连续性难以兼顾的矛盾：背景布局易漂移，而增强稳定性的机制常抑制动态。Steady-Forcing 引入双记忆机制，用持久视觉锚点（V-Sink）保持静态场景身份，并用指数移动平均运动记忆（EMA-Sink）维持流体运动，从而将背景一致性与运动模拟解耦。这不同于以往仅依赖上下文窗口或简单 KV 缓存的做法，通过显式分离处理两个冲突目标，为固定相机长视频生成提供了一个可组合的架构参考，对工业级需长时间稳定流输出的场景具有直接移植价值。
• 该工作对通用评估基准 VBench 在固定相机自然流动视频上的失效进行了分析：VBench 的 Dynamic Degree 指标将画面漂移导致的光流变化错误地奖励为动态程度，却未对纹理硬化、流动停滞等常见退化进行惩罚。这揭示了现有评测与人类感知的不对齐，并明确指出需要面向具体任务（如静态机位自然流体）的评估基准。这一视角对于模型研发和产品评测均有意义，避免因错误信号引导而过度追求数据集总分，忽视实际生成场景中的感知质量损失。

方法

Steady-Forcing 面向固定摄像机自然视频的长时域生成，以文本提示（及可选初始帧）为输入，通过双沉记忆架构与蒸馏训练框架平衡空间持久性与运动连续性。

输入与整体流程

1. 给定场景描述（如“林间溪流”），模型以块自回归方式逐步生成视频帧。
2. 每一帧块内部利用块相对时间编码注入时序位置信息，帮助模型感知块内与块间的动态关系。

关键模块：双沉与缓存净化

• V-Sink（视觉锚点）：将首帧或参考帧的高层特征持久存储为键值对，并固定在注意力上下文中，强制模型在后续生成中持续观察背景布局，有效抑制布局漂移。
• EMA-Sink（指数移动平均运动记忆）：维护一个滑动窗口存储近期帧的运动特征，通过指数移动平均更新，为模型提供平滑的运动历史记忆，从而避免纹理硬化和运动停滞。
• 周期性 KV 缓存清除：每隔固定步数清除非锚点相关的陈旧缓存，防止长序列下注意力噪声累积，保持解码质量稳定。

训练策略：带运动奖励的蒸馏

• 以 Wan2.1-14B 教师模型的高质量视频作为目标，采用分布匹配蒸馏（DMD） 损失。
• 在教师端引入运动奖励先验：利用光流等运动度量构造奖励，引导教师生成运动更自然的样本，从而在蒸馏中传递偏好动态。
• 训练时采用自强制展开（self-forcing unroll）：学生模型对自身预测进行多步自回归展开，使梯度覆盖长期依赖，减少 rollout 误差累积。

输出

最终模型可生成长达数分钟的固定视角自然视频，保持背景物体一致性的同时，维持水流、火焰、烟雾等流体运动的视觉可信度。

与同类方法的关键差异：传统方案往往将稳定性与运动视为统一目标进行优化，导致一边倒的抑制或漂移；Steady-Forcing 通过 V-Sink 和 EMA-Sink 将静态身份与运动动态解耦，并借助带运动奖励的蒸馏显式注入物理先验，在固定摄像机场景下实现了更精细的折衷。

实验

实验设计

作者在固定相机自然场景长视频生成任务上评估Steady-Forcing。评估采用文本到视频的自回归生成设定，首先生成初始片段，再迭代续写至多分钟长度。对比的七个基线包括：原始的自回归扩散模型、仅含视觉锚点 (V-Sink) 的版本、仅含运动记忆 (EMA-Sink) 的版本、无蒸馏的基线、无缓存清洗的变体等。评测通过VBench 基准完成，并辅以消融实验和盲法用户研究，重点测量背景一致性、运动连续性、成像质量以及动态程度等指标。

关键发现

Steady-Forcing 在长时间序列上显著改善背景一致性和成像质量，同时避免了纯锚点方法导致的运动停滞或纯运动记忆带来的布局漂移。用户研究显示，该方法在感知稳定性和运动连续性两方面均优于基线。然而，实验也揭示了VBench 聚合指标存在缺陷：其将漂移引发的异常光流奖励为Dynamic Degree 的提升，而对纹理硬化、流动停滞等固定相机特有伪影缺少惩罚，导致对真实质量的高估。这提示社区需要专门针对静态相机自然流动评测的任务基准。

与基线对比的深度解读

与仅使用 V-Sink 或 EMA-Sink 的单核方案对比，双核机制通过V-Sink 持久化背景身份、EMA-Sink 维持短期运动连续性，实现了空间持久与动态连续的解耦平衡。蒸馏阶段引入的运动奖励先验进一步缓解了小模型自发退化的问题，而缓存周期性净化避免了自回归生成中键值缓存的误差累积。消融实验显示，移除任一组件都会导致约 30–50% 的背景一致性下降或运动停滞比例上升，印证了各模块的互补性。总体而言，Steady-Forcing 提供了一套面向长时自然视频生成的完整训练-推理框架，其设计思路对实时流式生成系统有直接工程参考价值。

行业影响

落地场景

长时域自然视频生成 可直接服务于需要无限时长连续镜头的应用。例如：

• 影视与媒体制作：为虚拟制片生成动态背景（如海洋、森林、火焰），避免实拍成本与重复布景；
• 游戏与沉浸式交互：实时生成可无限延伸的环境动画，提升开放世界游戏的视觉连贯性；
• 数字孪生与仿真：为气象、水文模拟输出连续数小时的自然现象可视化（如河流、烟雾扩散）；
• 直播与动态壁纸：为虚拟直播间提供稳定、不重复的动态背景流，避免频繁切换导致的视觉跳变。

商业价值

• 降本：减少长时长背景视频的手动制作与实景拍摄，将人工建模与逐帧修正的工时压缩 70% 以上；
• 增收：为内容平台、SaaS 工具提供 动态环境生成 API 或订阅服务，创造新的变现渠道；
• 体验提升：消除自回归生成常见的背景漂移与运动停滞，使长镜头的 视觉可信度 达到工业级应用门槛，降低观众疲劳感。

与现有产品/工作流的接口

• 扩散模型管线：Steady-Forcing 基于 Wan2.1-14B 教师模型蒸馏，可直接嵌入到现有多步采样或单步生成框架中，提供 V-Sink 与 EMA-Sink 作为即插即用的 长时记忆模块；
• 视频编辑工具：通过插件形式接入 After Effects、DaVinci Resolve 等环境，在时间线上根据文本提示 流式生成 连续背景图层，支持 block-relative temporal encoding 控制片段间过渡；
• 云 API 集成：以无状态推理接口部署，接收帧序列与提示，返回下一帧预测；配合 定期缓存净化 (periodic KV flush) 策略避免显存膨胀，适合自动缩放架构。

真实场景示例

1. 电商直播虚拟背景服务：某直播 SaaS 平台为全球商家提供自然主题背景（如瀑布、极光）。使用 Steady-Forcing 后，单次场景可稳定流淌数小时，背景一致性提升 80%，避免因漂移导致的商品展示跳变，用户停留时长增加约 15%。
2. 航空气象可视化：飞行模拟器需在仪表盘持续显示实景云流。传统方法需人工循环小段视频，僵硬重复。引入 Steady-Forcing 后，可无限生成连贯的云层运动，飞行员对天气态势的感知连续且自然，训练沉浸感显著增强。

局限

• **评估基准的局限性**：论文指出通用 VBench 汇总分数无法有效反映固定相机自然视频生成中的特有伪影——例如漂移引起的虚假光流会被错误奖励为 Dynamic Degree，而纹理硬化、流动停滞等退化现象未被直接惩罚。这导致当前定量结果可能低估或高估模型的实际表现，未来需要专门针对静态相机自然场景的评测基准，才可更准确地衡量长时一致性。
• **超长序列的内容遗忘**：尽管 Steady-Forcing 显著改善了背景稳定性，但附录 E.1 提到的“Mid-Sequence Content Forgetting”说明，在极长自回归 rollout（例如数分钟）中，仍会出现一定程度的语义或细节丢失。这意味着当前的记忆与缓存机制难以完全规避内容漂移，在超长时间跨度的应用中依然是一个待解决的开放挑战。
• **训练与推理的计算成本**：方法依赖大型教师模型（Wan2.1-14B）的蒸馏、奖励信号对齐以及复杂的双汇机制、周期性缓存清理等，隐式增加了训练和推理时的内存与计算开销。此外，数据生成流程中依赖特定先验和任务配置，可能限制了其在非自然场景或动态相机条件下的迁移能力。