影石开源统一相机模型UniSHARP,单图即可生成3D高斯点云
影石开源UniSHARP,一张图适配所有相机,秒级生成3D场景,打破针孔相机依赖。
UniSHARP是首个支持透视、广角、鱼眼和全景相机的单目3DGS模型——一种只需单张图像即可预测场景3D高斯点云的技术。它采用统一的射线空间表示,不再依赖传统针孔相机假设,一次推理秒级生成高质量3D场景,无需多张图片或逐场景优化。团队已开源全部代码、模型权重及含30万张全景图的仿真数据集。
正文摘录
.jpg)  影石研究院发布面向异构成像系统的单目新视角合成模型 UniSHARP (Universal Sharp Monocular View Synthesis)。作为 首个统一透视、广角、鱼眼与 360° 全景相机 的单目 3DGS 模型,UniSHARP 只需一张输入图像,即可通过单次推理在秒级时间内获得场景的高斯点云,无需多张图像输入或逐场景优化。 该方法不再依赖针孔相机假设,而是以统一的几何表示打通不同相机模型之间的壁垒,通过融合 2D 语义特征与 3D 几何特征来预测 3D 高斯场,并支持混合相机训练与 Pose-Free 免标定推理 —— 真正实现 一张图、一个模型、适配所有相机 。 团队同步构建含 30 万张 全景图及深度的仿真数据集 OmniRooms ,并建立覆盖多种相机类型的 FoV 分层 benchmark。目前,训练与测试代码、模型权重、数据集与在线 Demo 已经 全部开源 。