用于 CT 扫描中可靠且可审计的空间关系验证的模块化智能体

TL;DR 模块化医学影像代理将 CT 空间关系验证拆解为语言解析、YOLO 解剖定位与确定性几何判读，在 MIRP 上以 94.1% 准确率超越端到端 VLM 42.5 个百分点，兼顾可审计性。

问题

问题背景

医学视觉语言模型（VLM）在报告生成、结构化图像理解等任务中取得了显著进展，但空间关系推理仍是制约其临床应用的关键瓶颈。放射学诊断高度依赖解剖结构之间的相对位置，如“结节位于右肺上叶”“病灶毗邻胸膜”，空间判断错误会直接导致误诊。

现有方法局限

当前端到端 VLM 虽然在自然图像视觉问答上表现优异，但在医学影像空间推理中暴露出系统性缺陷：

• 直接预测空间答案时，模型难以将自然语言查询与图像证据进行可靠对齐；
• 受限于自回归生成机制，空间判断往往被模型先验或语言模式主导，缺乏对图像几何信息的显式利用；
• 可解释性与可审计性不足：黑箱式输出无法让放射科医生追踪推理链路，难以满足医疗场景的问责要求。

已有基准如 MIRP 显示，代表性 VLM 在 CT 轴向切片上的二元空间关系验证任务中准确率远低于人类水平，且错误模式不稳定。

为什么这个问题难且重要

空间关系验证的难点在于跨模态对齐：自然语言中的空间谓词（如“上方”“左侧”）需要转化为图像坐标系下的几何判断，而医学影像器官形状变异大、部分容积效应明显，直接回归坐标或关系容易过拟合。

业界对可信赖医疗 AI 的需求日益增长，要求系统不仅给出答案，还要提供可验证的中间证据。模块化设计将解析、定位、几何验证解耦，使每一步都可以独立调试与审计，同时通过确定性规则消除概率输出的不确定性。这种架构思路与自动驾驶中的感知-规划分离、机器人操作中的符号推理模块异曲同工，对构建报告导向的医学成像智能体具有重要参考价值。

行业类比

该问题类似于工业质检中的视觉定位与规则判断分离：不依赖单一端到端网络输出缺陷结论，而是先检测目标再执行确定性空间校验，以满足严格的可复现性与合规要求。

核心洞察

• 模块化分解将空间关系验证从端到端预测转变为可验证的几何计算，显著提升可靠性。端到端 VLM 在医学图像空间推理中常无法可靠地将关系建立在图像证据上，而本 agent 将任务拆解为语言解析、YOLO 解剖定位和确定性几何规则验证，在 **MIRP spatial QA benchmark** 上达到 94.1% 准确率，比直接 **Qwen2-VL** 提示高 42.5 个百分点。每个阶段输出可解释中间表示，支持错误归因与审计，证明显式管道是医疗空间推理更稳健的构建块。
• 可审计的中间表示与阶段级故障归因使模块化 agent 更适合高风险临床部署。与黑盒端到端模型不同，该设计允许独立评估语言解析、检测和几何验证各阶段，论文通过 **stage-wise failure attribution** 定位主要错误来源（如检测失败或解析歧义），从而针对性优化组件。这种可调试性降低了调试成本，也为满足医疗 AI 监管与验证需求提供了基础，同时为未来报告导向的医学影像 agent 提供了可组合的模块化范式。

方法

输入

• 自然语言查询（如“肝脏是否位于右肾上方？”）
• 轴向 CT 切片图像

模块化处理流程

1. 语言解析
   将自然语言查询解析为结构化关系元组，形式如 (器官A, 空间关系, 器官B)。该模块明确提取查询中的解剖实体与关系类型，避免后续模块在模糊自然语言上直接推理。

2. 解剖定位
   使用基于 YOLO 的检测器对查询涉及的目标器官进行定位，输出每个器官的边界框与中心点坐标。该检测器针对 CT 切片上的解剖结构训练，提供可靠的空间锚点。

3. 确定性几何验证
   根据定位结果，利用确定性几何规则（例如比较中心点的 x/y 坐标、设定相对位置阈值）判断两个器官的空间关系是否成立。无需学习式推理，直接产生二元答案。

输出

• 二元空间关系判断（是/否）
• 中间表示：解析后的关系元组、检测框与中心点，以及几何验证步骤——保证整个过程可审计、可解释。

与同类方法的差异点

与端到端视觉语言模型（如直接提示 Qwen2-VL）相比，该方法将空间推理显式分解为解析、定位与几何验证，规避了 VLMs 在空间关系上的不可靠行为，并提供逐步可追溯的推理路径。

实验

实验设计

在 MIRP spatial QA 的 held-out 测试集上验证二值空间关系,对比 Qwen2-VL 直接提示等端到端 VLM 基线。系统将查询解析为结构化关系元组,使用 YOLO 检测器定位器官,再由目标中心坐标通过确定性几何规则判定。

关键发现

• 最佳混合配置达 94.1% accuracy 与 94.2% F1,相比直接 Qwen2-VL 提示 +42.5 pp accuracy。
• 保留可解释中间表示与可审计推理阶段,错误可归因到 解析 / 定位 / 几何规则 各环节。
• 模块化设计使空间推理从 VLM 的端到端黑盒中解耦,降低幻觉风险。

与基线对比解读

端到端 VLM 在受控空间推理上表现弱,直接提问常无法可靠将空间关系锚定到图像证据。本工作通过显式定位与几何验证,把难度转移到检测器;几何规则确定性保证了决策透明度。工程上,该模块可作为未来报告生成医学影像 agent 的构建块,但受限于 YOLO 器官定位的召回率与精度。

行业影响

落地场景

该模块化空间验证 Agent 可嵌入 放射报告生成系统、CT 影像质量分析平台 与 AI 辅助诊断 SaaS。例如，在胸部 CT 自动初筛中，系统对“结节位于右上叶”等自然语言描述做二元真伪验证，减少错误定位报告；在医学影像结构化报告产品中，作为独立校验层，确保关系三元组（器官A，关系，器官B）与图像证据一致。

商业价值

主要价值来自 降低误诊风险 与 满足审计合规。直接端到端 VLM 空间推理准确率不足，可能造成错误结论；该 Agent 的确定性几何规则输出可追溯，每步中间表示（解析元组、目标框、中心点坐标）可审查，符合医疗软件监管对可解释性的要求。混合配置在 MIRP 基准上 94.1% 准确率、42.5 个百分点的提升，意味着可减少人工复核工作量，缩短报告周转时间，提升诊断信心。

与现有工作流接口

可部署为 微服务或推理插件，接收 PACS/RIS 中的 DICOM 切片与查询文本，返回 JSON 格式的 relation_verified 布尔值及中间证据。在现有产品栈中，可作为 VLM 之前的“空间验证过滤器”，或放在 VLM 之后做一致性校验。YOLO 检测器独立模块可热替换，不影响整体流水线；结构化输出便于集成到报告编辑器或 EDC 系统。

具体 Use Case

1. 远程放射学平台：在医生书写“左肾小于右肾”等描述时，实时调用 Agent 验证解剖位置，降低误报。
2. AI 辅助诊断软件：对多器官疾病（如胰腺癌分期）的空间关系声明进行自动核验，生成可审计证据链，支持 FDA/CE 申报。

局限

• - **任务范围与几何规则简化**：论文仅处理轴向 CT 切片上的二元空间关系（如左右、上下、前后），且验证阶段仅使用目标中心点坐标计算几何关系。这忽略了器官形状、旋转、重叠程度及体积上下文，无法区分“部分接触”与“完全包含”等更精细的空间语义。与端到端视觉语言模型（VLM）相比，系统虽然可解释，但扩展到三维体积或复杂空间描述需要重新设计解析器和几何模块，工程成本较高。
• - **对检测器性能敏感且缺乏回退机制**：整个 pipeline 的可靠性高度依赖 YOLO 检测器的定位精度。检测框的漂移或漏检会直接导致几何验证结果错误，而论文未明确讨论检测失败时的处理策略。相比之下，端到端 VLM 可能通过隐式外观和上下文建模对轻微检测噪声更鲁棒。此外，系统只能处理预定义列表中的器官，开放集解剖结构需要额外标注和训练数据，限制了其在新场景中的快速部署。
• - **基准代表性与对比公平性有限**：MIRP spatial QA 基准的规模和多样性可能不足以覆盖真实临床中的各类变异（如罕见病理、体位差异）。与 Qwen2-VL 直接提示的对比虽显示 42.5 个百分点的大幅领先，但未与更强基线（如 chain-of-thought 提示、微调视觉编码器或检索增强方法）公平比较，可能高估模块化方法的相对优势。同时，pipeline 涉及多个独立组件，推理时延和维护成本高于单一模型。