视觉作为统一多模态生成

TL;DR 将计算机视觉统一为多模态生成，单一模型在文本与图像空间处理检测、分割、几何预测等任务，性能匹敌专用系统。

问题

问题背景

当前，多模态模型正从“单任务专用”向“统一通用”范式演进，业界期望用一个模型覆盖多样化的计算机视觉任务，降低系统复杂度。

现有方法局限

• 任务专用架构：传统方案为检测、分割、深度估计等分别设计独立的预测头或解码器，导致模型无法共享知识，扩展新任务成本高。
• 文本输出瓶颈：基于多模态大语言模型（MLLM）的方法虽然灵活，但仅生成文本，难以直接输出稠密空间目标（如掩码、深度图），需要借助外部工具或 tokenizer 近似，精度受限。
• 生成模型局限：部分工作尝试用图像扩散模型完成感知任务，但缺乏对结构化文本输出、混合输出（图文组合）的支持，且任务指定方式不够自然。
• 数据与训练断层：多数方法无法将异构的视觉标注（框、分割图、关键点）统一转换为统一的生成格式，导致训练数据难以规模化。

技术挑战与重要性

视觉任务输出形态多样——从离散的类别标签、边界框坐标，到连续的稠密图像（深度图、表面法向、分割掩码），再到多视图几何量。在不修改模型架构的前提下，仅通过统一的文本和图像生成空间来表达所有任务，这要求：

• 设计能兼容离散/稠密输出的指令格式与解码约定；
• 将海量异源标注（COCO、ScanNet 等）自动转换为匹配的“指令-响应”对；
• 保持预训练多模态模型的原有能力不退化。
  该问题具有高工业价值：若能实现，意味着一个基础模型即可覆盖感知、几何、重建等核心视觉模块，为具身智能、自动驾驶等系统大幅降低集成难度，是通往通用视觉智能的关键一步。

行业类比

类似 GPT 系列用自回归文本生成统一 NLP 任务，SenseNova-Vision 将计算机视觉重构为统一的多模态生成问题，有望扮演视觉领域的“通用基础模型”，让视觉任务开发从“搭积木”变为“写指令”。

核心洞察

• 将计算机视觉的所有异构任务统一为多模态生成（文本+图像），消除了任务专用预测头与架构改造。不同于以往仅用文本输出表达视觉结果的方法，SenseNova-Vision 利用原生文本和图像生成空间共同编码符号输出与稠密空间预测，使得单个模型可直接覆盖检测、分割、深度估计、多视图几何等截然不同的任务，彻底摆脱了“一个任务一个头”的碎片化范式。
• 通过构建超大规模视觉指令-响应语料库 SenseNova-Vision Corpus，将各类标注（框、关键点、分割掩码、深度图等）系统性地转化为文本、图像或混合输出形式，使预训练多模态模型能够直接在大一统目标下学习。这一数据协议的核心差异在于它并非简单拼接多任务数据，而是从生成空间的根本兼容性出发，定义了规范的转换规则，保证了多任务训练时的损失空间一致，避免了多目标优化中的冲突与性能退化。
• 直接从现成预训练统一多模态模型出发进行指令微调，无需任何架构修改或新增任务专用预测头，证明了通用基础模型能力向视觉任务迁移的极高效率。与需要大量任务特定结构调整或重新设计模型的通用视觉系统相比，该方法保持了模型整体的简洁性与可扩展性，为将计算机视觉能力无缝集成到通用人工智能基础模型提供了可落地的技术路径。

方法

输入：自然语言指令与视觉提示

SenseNova-Vision 的输入由两部分构成：自然语言指令 描述任务类型、输出格式等要求；可选的 视觉提示（如点、框、涂鸦）用于指定目标区域、视角或感兴趣对象。通过组合这两种模态，模型可以灵活地定义检测、分割、深度估计、相机位姿估计等各种计算机视觉任务，而无需为每个任务设计不同的输入结构。

核心模块：统一多模态生成模型

整个系统的核心是一个 预训练的统一多模态模型（UMM），它原生支持文本和图像的生成。在 SenseNova-Vision 中，该模型不引入任何额外的任务特定预测头或架构修改。其生成过程完全由自回归机制驱动：将输入指令和视觉提示编码为统一的 token 序列，再逐 token 解码生成响应。对于不同类型的目标输出，模型采用如下策略：

• 文本输出：直接生成符号化的文本 token，如边界框坐标、类别标签、关键点位置等。
• 图像输出：生成图像 token（离散化表示），经内置解码器上采样为密集空间预测结果，如分割掩码、深度图、表面法线图等。
• 混合输出：按需交叉生成文本和图像 token，实现组合式任务（如“检测所有红色汽车并分割它们”）。

训练数据：SenseNova-Vision Corpus

为支持上述统一生成范式，团队从多种视觉标注数据集中转换构建了 SenseNova-Vision Corpus。具体做法是将原始的检测框、关键点、分割多边形、深度像素等标注，按照“指令-响应”的协议转换成模型可学习的样例：文本标注转为自然语言描述，密集标注（如掩码）渲染成图像。该语料库涵盖纯文本、纯图像、文本+图像三种响应类型，规模达 50M 样本，覆盖结构化视觉理解、密集几何预测、分割、多视角几何等多种任务。

训练策略：微调与能力保持

模型从现成的预训练 UMM 出发，在 SenseNova-Vision Corpus 上进行监督微调。为避免在特定视觉任务上过度拟合而丧失通用多模态能力，训练时还混合了辅助的通用多模态数据作为正则。优化目标为标准自回归交叉熵损失，同时作用于文本和图像 token，无需额外的损失项。

与同类方法的差异

与 Unified-IO、Pix2Seq 等构建任务特定输出头的通用视觉模型不同，SenseNova-Vision 直接复用预训练多模态模型的原始生成空间，所有视觉任务被统一为相同的 text/image 生成问题，无需任何架构上的定制，因而在任务覆盖度和扩展性上更为彻底。

实验

实验设计与评估体系

SenseNova-Vision 在四个核心视觉能力维度上进行评估：

• 结构化视觉理解：覆盖检测、OCR、关键点估计等，使用公共检测与识别基准。
• 密集几何预测：包含深度估计、表面法线预测、点图生成。
• 分割：涵盖语义、实例及语言驱动的指代分割。
• 多视图视觉几何：评估相机姿态估计等空间推理能力。

所有任务均以统一的多模态生成范式完成：自然语言指令和可选的视觉提示（如边界框、点、涂鸦）定义任务，模型输出文本符号记录（如坐标、类别）或图像形式的密集空间预测，无需任何任务专用头。

关键发现

实验证明，单一统一模型 在上述所有任务领域均达到或匹配 领先的专用系统。具体而言：

• 在结构化理解任务中，生成式的输出与传统专用检测/识别模型性能持平。
• 密集几何预测质量接近单任务训练的最优模型，且通过语言提示可灵活切换输出模式。
• 分割任务中，参照式交互分割 和 自由形式语言到掩膜生成 展现出优秀的人机协作潜力。
• 多视图几何任务显示，统一模型能够隐式学习3D几何约束，无需显式多视图融合架构。

与通用视觉模型对比，SenseNova-Vision 在任务广度与深度上均表现出更优的迁移性。

对比解读

相比此前统一视觉模型（如 OFA、Unified-IO），SenseNova-Vision 的关键差异在于：

1. 生成空间统一：直接在文本和图像生成空间对接任务输出，而非通过离散 token 化或固定头，保留了密集信号的保真度。
2. 数据协议标准化：SenseNova-Vision Corpus 将异构标注统一为指令-响应对，避免了多任务训练中的目标冲突。
3. 能力保持策略：辅助多模态数据的混合训练防止灾难性遗忘，使得模型在通用对话与视觉理解上不退化。

这种设计为在通用基础模型中“无缝”集成各种视觉能力提供了可行路径，工程部署时无需维护多套专用模型，降低了系统复杂度。

行业影响

落地场景

SenseNova-Vision 将检测、分割、深度估计、多视角几何等异构视觉任务统一为文本与图像生成，可直接赋能以下产品形态：

• 内容创作平台：通过自然语言指令同时生成图像与文本，实现“一句话 P 图 + 配文”，大幅降低专业工具使用门槛。
• 电商视觉系统：商品图自动抠图、更换背景、属性解析与描述生成，单模型覆盖从理解到编辑的全链路。
• 自动驾驶感知栈：用单一模型替代检测、分割、深度估计等多个专用模块，简化车端模型部署与更新。
• 医疗影像辅助诊断：跨模态密集预测（如器官分割 + 表面法向估计）为术前规划提供一致的多维度信息。

商业价值

• 降本：单模型替代多套专用系统，减少模型存储、推理算力与运维成本。
• 增收：支持灵活的多轮“语言 + 视觉提示”交互，可衍生交互式编辑、多条件视觉搜索等高附加值功能。
• 加速创新：新任务通过构造指令-响应数据即可接入，无需修改模型架构，使产品迭代周期从月级缩短至周级。

与现有工作流的接口

模型可封装为统一 API，接收图像、文本和视觉提示（如点、框、草图），输出文本、掩码、生成图像或混合结果，轻松嵌入微服务架构。可在数据标注平台中作为智能预标注引擎，支持人工通过自然语言修正；在视频编辑工具中作为自然语言驱动的内容生成模块；或在云平台上提供无代码的“通用视觉智能”服务，开发者通过 prompt engineering 快速适配业务需求。

具体场景：电商商家上传服装图片，指令 “仅保留红色连衣裙，背景改为浅灰，给出面料描述”，模型直接输出抠图结果、商品蒙版与材质文本，替代传统需多个 AI 服务接力的流程。内容平台创作者输入 “将这张街拍转为雨天夜景并生成简短故事”，模型输出风格化图像与叙事文本，实现一站式视觉叙事生成。

局限

• - **训练数据依赖与覆盖范围**：SenseNova-Vision 的性能高度依赖于 SenseNova-Vision Corpus 的规模与多样性。该语料库主要源自现有公开数据集的转换，可能缺少真实长尾分布，导致在开放域或高度组合任务上泛化不佳。模型对指令格式敏感，当用户指令与训练模板差异较大时，可能产生错误的输出格式，影响鲁棒性。
• - **计算资源与推理效率挑战**：基于预训练统一多模态模型 (UMM) 持续训练仍需大量计算资源，延续了大模型的高硬件门槛。稠密空间预测（如分割、深度图）采用图像生成解码，相比专用预测头可能引入额外开销和延迟，不利于实时性要求高的部署场景。论文未充分对比不同任务上的推理成本，给实际工程落地带来不确定性。