TerraVis: 迈向通过 MLLM 工作流评估 Text-to-Image 生成中的世界锚定视觉一致性

TL;DR TerraVis 用 MLLM 多阶段流程定义 18 类世界一致性违规，量化 T2I 图像在物理/空间上的合理性，与人类判断相关性优于现有指标，揭示高美学分模型仍可能产出不合常理的图像。

问题

文本到图像生成 在逼真度、美学和文本对齐上已取得显著进展，但评估体系仍主要围绕这些维度展开，对世界一致性（world-grounded visual consistency）的关注不足，这在需要真实世界合理性的下游任务中构成潜在风险。

现有方法的局限

主流指标如 FID、CLIPScore、美学评分和偏好模型，侧重于像素级保真、文本相似性或风格偏好，无法刻画生成图像是否违反物理常识、生物结构或空间关系。例如，一个图像可能被评为高分，却存在多指手、不合理的物体穿插或错误的解剖结构。这类失败在传统指标下被掩盖，导致无法系统性地诊断和比较模型的世界一致性表现。

为什么这个问题难且重要

评估世界一致性要求模型具备常识推理和物理因果理解，而不仅是视觉特征匹配。传统基于特征距离或分类器的指标天然缺乏这种知识。多模态大语言模型（MLLM） 可以引入常识，但直接使用会带来幻觉、指令遵循不稳定和评分尺度不统一等问题，需要设计结构化的检测流程来保证可靠性。业界对生成内容的可信度要求越来越高，特别是在需要真实世界合理性的应用中，例如虚拟试穿、室内设计或自动驾驶仿真数据生成。

行业类比

类似自动驾驶中检测长尾 corner case，为生成图像增加世界一致性评估，相当于给内容生成流水线增加了一道“物理合理性”安全网。

核心洞察

• TerraVis 将“世界一致性”确立为独立于美学、忠实度和偏好的评估维度，直击文生图模型的真实物理合理性缺陷。现有指标如 FID、CLIPScore、ImageReward 主要关注像素质量或文本对齐，无法检测多指手、不可能的交互或空间矛盾。TerraVis 用 18 类违规分类法系统覆盖对象、交互、场景三个粒度，改进了以往只关注单一维度（如手部畸形）的评估。工程上，该维度可作为模型上线前的补充质检，避免“好看但违背常识”的输出。
• TerraVis 采用多阶段 MLLM 工作流——先做资格检查，再进行 18 类违规检测并区分 minor/major——将复杂评估拆解为可解释、可操作的步骤。相比单模型端到端打分（如 VQAScore 只给一个相关性分数），TerraVis 能输出违规类型和严重程度，便于开发者定位模型短板。例如，区分“轻微透视不一致”与“肢体数量错误”，可帮助针对性地改进数据或后处理。工程上这种结构化输出比单一标量分数更适合集成到回归测试或自动评测流水线。
• 实验发现，传统指标高分模型仍存在大量世界一致性违规，且现有指标与人类判断世界一致性相关性弱，说明仅靠提示条件或图像质量不足以评估真实感。TerraVis 在两项基准上达到与人类判断最强的相关性，证明该维度需要独立评估。这提示工程团队在评估生成模型时应采用多指标组合，将世界一致性纳入常规基准，否则可能误判模型成熟度。对于产品决策，避免在传统指标达标后忽视常识性错误对用户体验的伤害。

方法

TerraVis 的评估流程遵循 输入 → 多阶段 MLLM 工作流 → 输出一致性分数 的管线。

输入与资格检查

给定一张生成图像和对应提示词，TerraVis 首先使用一个 MLLM 判断图像是否满足评估条件（例如图像内容是否完整、是否包含可评估的主体），避免在无意义或退化样本上浪费计算。

关键模块：结构化違反分类法

核心是 18 类世界一致性違反类型，归纳为三个层级：

• 对象级：结构畸形、解剖学不可能、纹理/表面错误等
• 交互级：物理上不可信的接触（如穿透、悬浮）、不合理的动作关联
• 场景级：空间关系矛盾、透视不一致、光照/阴影冲突

检测与评分

对通过资格检查的图像，TerraVis 让 MLLM 逐类型检测是否存在違反，并将每个命中分类为 minor（轻微）或 major（严重）。聚合时，major 违规权重更高，通过一个可配置的聚合函数（如加权求和后归一化）得到 世界一致性分数，分数越高表示越一致。实现上，MLLM 的输出被约束为机器可解析的结构化格式（如 JSON），以保证复现性和批量处理效率。

与同类方法的差异

不同于仅衡量保真度、美学或文本对齐的指标，TerraVis 显式建模 世界锚定的视觉一致性，并通过多阶段 MLLM 工作流将違反检测从整体判断解耦为细粒度、可解释的类型化输出，从而支持模型诊断与对比。

实验

实验设计

TerraVis 提出了一个世界一致性评估框架，定义 18 种违规类型，覆盖 对象级、交互级 和 场景级 三个层级。评估流程为多阶段：先用 MLLM 判断图像是否符合评估条件，再检测各违规类型并将其分为 minor / major 两级，最终聚合为 world-consistency score。实验在多个开源与闭源 T2I 模型上，基于两个广泛使用的基准（名称未在摘录中明确列出）进行，并与人类判断做相关性验证，同时包含消融研究。

关键发现

• 在现有 fidelity、aesthetics、preference、alignment 指标中，TerraVis 与人类对世界一致性判断的相关性最强。
• 传统指标表现优秀的模型仍存在大量世界一致性失败，说明该维度具有不可替代的互补性。
• 细粒度违规类型揭示模型特异性画像：新模型已大幅缓解 anatomy、texture/surface 等常见伪影，但 interaction 与 scene 级问题依然突出。
• 消融显示分层评估优于整体检测，不同违规类型对最终分数的贡献不同。

与基线对比解读

现有 prompt-conditioned 指标（如 CLIPScore、TIFA）侧重文本语义对齐，prompt-independent 指标（如 FID、aesthetics）侧重分布或美观，均不直接建模物理合理性。TerraVis 通过显式分类体系和 MLLM 工作流补充了这一空白维度，并提供了可诊断的违规定位信号。这对工程实践的意义在于：可在回归测试中追踪模型失效层级与类型，指导数据增强、后处理或架构改进，而不只是依赖单一的偏好分数。

行业影响

落地场景

TerraVis 框架可直接嵌入生成式 AI 内容审核与质量保障环节。典型应用包括：

• 电商商品图生成：自动检测物体结构错误、空间关系冲突（如悬浮物体、接触面不自然）。
• 内容平台的 AI 艺术/设计工具：对用户生成图像做世界一致性评分，标记高违规作品。
• 广告/游戏概念设计：预筛除解剖异常或物理不可能的素材，减少返工。

商业价值

降本：替代或辅助人工审核，减少对畸形/不合理图像的筛查人力，提升批量生成流水线的有效率。 体验提升：用户获得更符合现实逻辑的图像，降低“诡异感”，提高采纳率和满意度。 模型迭代：TerraVis 提供细粒度违规分类（object / interaction / scene 共 18 类），可量化模型缺陷分布，指导针对性 fine-tune 或数据补充，缩短优化周期。

与现有工作流接口

TerraVis 基于 MLLM 的多阶段评估（eligibility checking → violation detection → scoring），可以封装为无状态 API 或 Python 库，集成到现有推理服务后置处理链：

• 在生成图像后直接调用 evaluate_world_consistency(image, prompt) 获得分数和违规标签。
• 与 CLIP Score / FID / Aesthetic Score 等传统指标并联，作为补充维度输出，形成多维质量看板。
• 可作为数据标注工具，自动预标注大规模生成数据集，辅助训练防违规的 reward model 或判别器。

关键差异：TerraVis 关注世界一致性（物理/空间合理性），而不是传统的美学或文本对齐，填补了生成质量评估的空白。

局限

• **依赖 MLLM 的可靠性与成本**：TerraVis 的核心评估依赖 MLLM 的视觉理解能力，但 MLLM 自身可能存在幻觉或对细微违反不敏感，导致漏检或误判。多阶段流程（资格检查 + 违反检测）增加了推理时间和计算开销，不适合大规模图像集的快速评估。论文中与人类判断的相关性虽高，但未分析 MLLM 版本或 prompt 扰动对结果稳定性的影响，实际部署时可能因 MLLM 接口变化产生不一致评分。
• **分类法完备性与评分阈值主观性**：18 种违反类型覆盖了对象、交互、场景三个层面，但可能遗漏时间动态、文化常识或抽象概念等维度。轻微/重大的二分类阈值由人工设定，缺乏客观校准，可能影响最终分数的可比性。不同基准间的类型分布差异可能造成分数偏移，跨数据集比较时需要谨慎归一化，论文未提供统一的校准方案。
• **评估范围与复现障碍**：实验仅在两个未明确指出的基准上验证，模型覆盖以主流 T2I 模型为主，未涉及视频生成、3D 生成或最新架构。代码虽公开，但依赖的 MLLM 可能为闭源 API，离线复现和自定义数据集评估存在障碍。与人类判断的相关性可能只限于当前基准，泛化到分布外图像或新违反类型时的表现未知。