北大团队提出 DragMesh：对已有 3D 资产做一次拖拽即可生成关节运动
DragMesh 让已有 3D 模型通过一次拖拽获得正确的关节运动，把运动学预测与外观渲染解耦，省掉重复生成静态部分的算力
现有 3D 生成模型擅长从零造出整个可动资产，但用户手里往往已经有柜子或抽屉模型，只是想让其中某个部件动起来。北大团队的 DragMesh 把问题拆成三步：先从几何和一次拖拽中预测关节类型、运动轴与关节原点，再用 Dual Quaternion VAE 一次并行生成 16 帧运动轨迹，最后把同一套运动迁移到 Mesh 或 3D Gaussian Splatting 上，无需为每个新物体重新训练
正文摘录
.jpg)  本文作者来自北京大学计算机学院。张天山、张泽宇为共同第一作者，唐浩为通讯作者。 近年来，3D 生成模型在几何质量和渲染效果上进步很快。从 Mesh 到 NeRF、3D Gaussian Splatting，生成一个外观完整的三维物体已经不再困难。现有不少 articulated 3D generation 工作，更多关注的是从输入中生成一整套可动 3D 资产，包括物体几何、部件划分以及关节结构。这类方法适合从零创建新的 articulated object，但很多时候，用户手里已经有一个现成的柜子、微波炉或者抽屉模型，真正需要改变的只是其中某个可动部件。 比如拖动柜门，系统只需要让门围绕正确的铰链旋转；拖动抽屉，也只需要让抽屉沿滑轨方向平移。如果每次交互都重新生成完整物体，大量计算其实会花在不会发生变化的静态部分上。对于这类局部交互任务，更直接的做法是保留已有 3D 资产，只对目标可动部件进行运动学推理和运动生成。这也是 DragMesh 的出发点。