浙大开源 PhyEdit:单图实现精准 3D 物体操控
PhyEdit 把三维几何约束作为“草稿”交给图像生成模型,使单张图片中的物体能按用户指定的三维轨迹移动,且保持画质。
浙大团队开源 PhyEdit,用现成 3D 模型给出物体的新位置、大小和遮挡关系,再交给图像生成模型(基于扩散 Transformer 的 DiT)渲染。在 ManipEval 测试中,其物理合理性指标领先,用户偏好率达 78%。它能处理穿遮挡移动、多物体操作,还能同时修改颜色和材质。
正文摘录
 新智元报道  图像生成模型正从「会创作」转向「可操作」。 但把图片里的物体真正搬到另一个三维位置,仍是一件比换颜色、改风格困难得多的事。 浙江大学 ReLER 团队最新开源的 PhyEdit ,展示了一种新的组合方式:用现成 3D foundation model 明确目标几何,再让强大的 DiT 图像编辑器负责最终渲染。 结果是,单张图片里的物体不但能从近处移到远处、穿过遮挡区域,还能沿用户指定的三维轨迹形成连续状态。 在 ManipEval benchmark 上,PhyEdit 的 DIoU 达到 65.33 、Chamfer 降至 18.93 。与 Nano Banana Pro 相比,前者高出 5.36,后者降低 6.40;匿名盲测中,PhyEdit 获得 78.0% 的整体偏好率。 该工作已被 ACM MM 2026 接收。