北大等团队提出 DynStream:无位姿流式视频的在线 4D 高斯重建框架
它让模型边看视频边重建会动的三维场景,把长视频切成小块分别重建再无缝拼接,省掉了逐场景优化这一步。
北大王选所王勇涛团队、VGI Labs 与 UC Merced 提出 DynStream,输入未标定相机位姿的 RGB 视频流,按时间分块做前馈重建,再靠相对位姿预测和逐块尺度因子把局部场景拼进统一世界坐标系,无需逐场景重优化;同时为每个高斯预测动态概率以分离动静态,支持长达数千米的在线 4D 重建。
正文摘录
.jpg)  随手拍一段街景,镜头在移动,行人在穿行,街道上的车也在开。如果要边拍边重建这个变化的三维场景,麻烦就来了:未来画面还没到,如何分清哪些变化来自相机移动,哪些来自物体运动?随着镜头不断向前,如何将前一分钟重建的街道与后一分钟看到的路口准确拼接,避免场景错位或动态物体留下重影?当视频源源不断地输入时,系统又如何避免重复计算,让重建始终跟得上拍摄速度? 这些问题指向在线 4D 重建的三个核心挑战:增量处理、跨时间的全局一致性,以及动态场景的高保真表达。在线系统只能利用已经到达的画面持续更新场景,不仅需要准确重建局部几何,还必须保持相机轨迹、几何尺度和动态信息的一致性。 然而,现有方法往往难以兼顾这些要求:基于逐场景优化的方法需要反复迭代更新场景参数,速度太慢;离线前馈方法通常联合处理有限帧,计算与显存开销随输入规模增长,难以扩展到长视频;而许多前馈几何模型主要输出点云或深度,难以直接实现高保真渲染。 北京大学王选计算机研究所王勇涛团队和通视智能(VGI Labs)、UC Merced 联合推出的工作 DynStream 围绕这一问题提出在线流式 4D 高斯前馈重建框架。