南洋理工与上海AI实验室提出 PhysLDM：用隐空间扩散一次生成整段物理仿真轨迹
它把视频生成中稳定扩散的隐空间方法用于物理仿真：先压缩整段轨迹，再用扩散模型生成结果，不再逐帧预测，从而消除长期漂移，且一个模型可跨物体泛化。
南洋理工大学 MMLab 与上海人工智能实验室提出 PhysLDM，首次把 latent diffusion（隐空间扩散，先生成压缩后的隐变量再解码还原）用于体网格可变形物体的物理仿真。核心是一个时空 VAE（把整段仿真轨迹压缩成固定数量 token 的自编码器），在 3 万多个 Objaverse 物体生成的约 8 万条轨迹上训练，平均重建误差 2.48 毫米，压缩率最高 78 倍；扩散模型在隐空间里一次性生成整段轨迹，避免逐帧预测的误差累积，并能零样本泛化到未见过的物体。
正文摘录
.15.48.png)  论文第一作者张宇，南洋理工大学 MMLab 在读博士生，研究方向为物理仿真与 AI 的结合方向，曾以第一作者身份发表 NeurIPS 2026 论文 ClothTransformer，导师为潘新钢。合作者为上海人工智能实验室的徐旭东。 过去几年，神经网络接连改写了一个又一个领域：图像生成有了 Stable Diffusion，视频生成已经能做到以假乱真，就连 3D 渲染也出现了 RenderFormer 这样的纯神经网络方法。但在高保真物理仿真上，神经网络始终没能交出令人满意的答卷，游戏、动画和机器人领域至今仍依赖需要手动调参、难以求梯度的传统求解器。 近日，南洋理工大学 MMLab 与上海人工智能实验室的研究者提出了 PhysLDM，一个面向物理仿真的 latent diffusion 范式。据团队所知，这是首个面向体网格可变形动力学的高保真时空自编码器与隐空间扩散范式。只用一个模型，PhysLDM 就能一次性生成高分辨率可变形物体的整段仿真轨迹：重建精度达到毫米级，能零样本泛化到从未见过的物体，并且端到端可微。