港大与 VAST 提出 Mira-Scene，用像素对齐布局重建 3D 场景
单图重建 3D 场景时物体摆不准位置这个老问题，Mira-Scene 改用像素级 3D 对应替代直接回归位姿，精度提升明显。
单图 3D 生成已经能把单个物体做得很精细，但把物体摆回场景时，位置、尺度和朝向常与原图对不上。港大与 VAST 的 Mira-Scene 不再直接回归位姿参数，而是把布局变成像素对齐的稠密 3D 对应关系（规范坐标图 CCM + 点云图 PCM），仅用 80k 开源数据，3D IoU 比 SAM3D 提升 39.8%。
正文摘录
GPT-6 Astra 搭的 3D 场景总和原图对不齐？Mira-Scene 来解决！ .jpg)  本文的主要作者包括香港大学博士生孙阳天、刘天嘉和 VAST 黄泽桓；通讯作者为 VAST 首席科学家曹炎培和香港大学副教授齐晓娟。 现在的大模型如 GPT-6 Astra，已经越来越会“搭 3D 场景”了。但真正把结果拿来用时，却发现 前景物体的几何形状、相对尺度与 layout 仍与输入图像存在偏差 。香港大学和 VAST 推出了 Mira-Scene：通过 pixel-aligned 的 layout 表示，保证重建出的 3D 场景和原图严格一致。[](https://mp.weixin.qq.com/s/lkKNXcznAAEZTT5ZGitmw) 从左至右，分别为 Condition 图像、Mira-Scene + GPT-6 Astra 和 GPT-6 Astra From Scratch。