面向纵向胸部X光报告的 Transition-Aware best-of-N 采样

TL;DR 首次提出无需训练的纵向感知 best-of-N 采样，以集合间定向距离编码影像变化，全面超越随机选择，提升胸部X光报告生成质量。

问题

问题背景

胸部X光报告自动生成 是缓解放射科工作负荷、提升报告一致性的关键技术。当前领域聚焦于如何生成更准确、更符合临床规范的报告，但多数研究仍局限于单次检查，忽略了放射科医生的实际阅片模式——始终参考患者先前影像，并重点描述两次检查间的变化。

现有方法的局限

• 单图生成忽略纵向上下文：主流视觉-语言模型（VLM）仅利用当前图像，无法感知疾病进展或好转，导致报告缺乏连贯性，且可能遗漏关键对比发现。
• 简单融合策略失配：少量方法尝试融合历史信息，但通常将整篇报告编码为固定向量，难以捕捉报告内不同句子的细粒度语义变化（例如，一条新发结节与一条吸收的浸润），这需要集合级别的表示与比对。
• 标准 Best-of-N 采样选择粗放：虽然生成多个候选后筛选是提升质量的常用技巧，但现有筛选规则（随机选取、平均似然）不面向纵向任务优化，无法保证选出的报告最大程度反映临床上的放射影像学转换（transition）。
• 扩展成本高：多数针对纵向的专门方法需要额外训练，无法直接复用大量已部署的预训练生成器，限制了在真实医疗系统中的快速落地。

为何该问题重要且困难

• 临床真实性：放射科报告的核心价值在于对比描述“变化”。若生成报告不能体现这一时序视角，其临床采纳度将大打折扣。
• 技术挑战：如何无训练地将两份报告的句子集合嵌入为有向距离，以编码从先前到当前的语义“位移”，并基于此对候选报告评分，需要定义度量层（如 mean-shift、directed-Hausdorff）且保证对噪声鲁棒。同时，还要聚合历史金标转换向量的缓存（cache）进行打分，设计难度大。
• 实用性要求：方法须与任何预训练生成器解耦，无需微调，便于集成；且计算开销合理，适合医院工作流。业界对可解释、低部署成本的纵向报告质量提升方案有强烈需求。

行业类比

类似自动化代码评审中，模型需要比较两个版本的代码变更（diff）来生成摘要，本文方法 的有向集合距离可视为在报告空间中建模“临床 diff”，为类似时序对比生成应用提供了可迁移的思路。

核心洞察

• **将纵向报告生成转化为无序列的集合间方向距离度量**。该工作首次提出用无序句子集合表示报告，再通过集合到集合的定向距离（如 mean-shift、Hausdorff、最优传输）编码“前次→当前”的变迁向量，这完全跳出了传统基于序列比对或隐状态建模的框架，使得报告间的变化模式可直接用向量相似度评估，为医学影像报告生成引入了一种几何直观、可解释的过渡建模方式。
• **无需训练的重排序机制，通过缓存真实变迁向量来筛选最佳候选报告**。该方法不修改任何预训练视觉-语言模型，仅在推理时计算候选报告的变化向量与训练集中真实变迁向量的余弦距离，用 min 或 kNN 聚合得分来选择最终报告。这种轻量级、即插即用的采样策略，大幅降低了部署成本，且能一致提升报告印象部分的纵向连贯性，为已部署系统的快速升级提供了新范式。

方法

输入与候选生成

给定同一患者 先前胸片 与 当前胸片，以及相应的 先前真实报告（纵向历史可用），利用预训练视觉语言模型（VLM）为当前图像生成 (N) 个候选报告。此时，先前报告被当作已知上下文，但不参与候选生成过程。

关键模块

1. 报告句子集嵌入

将任意报告按句分割，使用固定句子编码器（如 Sentence‑BERT）将每个句子映射为 (\mathbb{R}^d) 向量，整个报告表示为一个无序 句子嵌入集合。

2. 方向性集合距离（变化编码）

针对 (先前集合, 当前集合) 对，设计四种集合到集合距离度量，各自输出一个 (d) 维 方向向量，用于刻画两个集合之间的语义变化：

• 均值偏移（mean‑shift）：两个集合均值向量的差。
• 新颖性残差（novelty residual）：当前集合中无法被先前集合线性表示的新信息残差。
• 有向 Hausdorff 锚点（directed‑Hausdorff anchor）：基于有向 Hausdorff 距离的关键句子对差异。
• 代价加权最优传输（cost‑weighted optimal transport）：最优传输耦合下的代价加权位移向量。

3. 真实变化向量缓存

从训练数据中抽取所有 (先前报告, 当前报告) 对，用上述集合距离计算对应的 真实 transition 向量，构建检索库 (\mathcal{B})。该库捕获了临床报告变化模式的先验分布。

4. 候选评分与选择

对每个候选报告，与给定先前报告计算其 候选 transition 向量，然后与 (\mathcal{B}) 中所有向量比较 余弦距离，聚合策略可选：

• min：取最小距离（最近邻）作为得分。
• kNN：取距离最小的 (k) 个平均得分。 最终从 (N) 个候选里 选出得分最高者 作为最终报告。

输出

被选中的、在变化模式上与真实临床过渡最相似的一份文本报告。

与同类方法的差异：该方法首次将纵向先验引入 best‑of‑N 采样，且完全 无需微调，仅通过集合距离度量变化方向并匹配历史真实变化模式来指导选择，区别于单纯基于单次生成质量或随机选择的策略。

实验

实验设计

实验旨在验证 transition-aware best-of-N 采样在纵向胸片报告生成中的有效性。使用一个 多访视 AP/PA 胸片队列，包含同一患者的前后两次检查。在 三个预训练视觉-语言模型（VLM） 上，采用 三种不同的提示 生成多个候选报告。候选报告首先被切分为句子，并嵌入为无序集合 (\mathbb{R}^d)。对每一对 (prior, current)，通过 四种定向集合距离（mean-shift、novelty residual、directed-Hausdorff anchor、cost-weighted optimal transport）将两个集合降维为固定维度的 方向向量，编码报告间的变化。候选报告的转换向量与预先缓存的 真实训练转换向量库 计算余弦距离，并采用 min 或 kNN 聚合 进行评分，最终选出最优报告。评估指标为标准自然语言生成（NLG）指标，如 BLEU、ROUGE-L 等。

关键发现

• Transition-aware best-of-N 在所有条件下均优于随机选择，验证了纵向先验信息的价值。
• 最大相对增益出现在 Impression 部分，该部分高度依赖对变化的总结，说明方法能更好地捕捉临床关注的变化信息。
• 不同集合距离和聚合方案性能差异明显：成本加权最优传输（cost-weighted optimal transport）与 novelty residual 在某些设置下表现突出，但整体来看，没有单一方案在所有评估中绝对领先。
• 方法对 VLM 和提示选择具有鲁棒性，表明该采样策略可适配不同基座模型。

基线对比与解读

基线是 随机 best-of-N，即从 N 个候选中等概率选择一个。该方法完全忽略纵向上下文，可能导致报告忽视先验信息或生成矛盾的变化描述。Transition-aware 的核心优势在于显式建模 prior → current 的转换，使选择出的报告在变化描述上更贴近真实临床思维。

从工程角度看，该方法 无需任何额外训练，仅需缓存训练集的转换向量库，推理时仅增加少量集合嵌入与距离计算开销，易于部署。相比需要微调模型的纵向报告生成方法，保持了预训练模型的泛化能力，同时通过采样策略引入先验约束，是一种轻量且实用的增强方案。

未来可探索更高阶的转换表示（如非线性映射）或结合动态权重聚合，进一步提升在 Findings 等其余部分的增益。

行业影响

落地场景

该方法可直接嵌入医学影像报告生成产品中，尤其适用于需要连续随访的场景，如：

• 慢性病监测：肺部结节、间质性病变的定期复查，自动生成突出变化的对比报告。
• 术后评估：手术前后影像对比，量化疗效。
• 急诊分诊：快速比对既往影像，标记新增异常。 此外，其训练自由（training‑free）的特性使其能以极低成本适配任意预训练视觉‑语言模型（VLM），为远程放射学平台、健康档案智能管理系统等提供即插即用的纵向增强。

商业价值

• 降本：减少放射科医生撰写对比报告的时间（通常占工作量的 20‑30%），缓解人力短缺。
• 提效：通过集合间距离编码变化，相比随机选择，Impression 部分相对增益最大，能直接提升报告关键结论的准确性与一致性。
• 体验优化：为临床医生提供结构化的纵向差异描述，降低信息遗漏风险，间接改善患者诊疗质量。 由于其无需重训模型，部署成本极低，ROI 主要来自工作流提速与报告质量提升带来的潜在纠纷减少。

与现有产品/工作流的接口

该方法作为候选采样器，独立于生成模型，可轻松集成进现有报告生成流水线：

1. 输入层：接收 VLM 对当前影像生成的 N 个候选报告，以及从 PACS 提取的同一患者过往报告。
2. 处理层：将报告拆分为句子集合，用预训练的句子编码器嵌入；利用定向集合距离（如 mean‑shift、OT）计算候选 transition 向量，并与缓存中的真实训练 transition 向量比对评分。
3. 输出层：返回得分最高的报告（min 或 kNN 聚合），写入 RIS/HIS 系统。

与主流报告生成框架（如 R2Gen、BioViL‑T）的解耦设计，使其能以微服务或推理后处理模块形式部署，无需改动原有模型架构。

具体落地 Use Case

1. 云端放射学服务平台：一家全球远程影像诊断公司在其报告引擎中集成此方法。当放射科医生调阅一位有多次 CT 扫描史的患者时，自动生成的 Impression 会标注“与 2024‑03 检查相比，右下肺结节直径增长 2mm”，医生只需确认或微调，单例报告耗时减少 40%，日均处理量提升 15%。
2. 医疗 AI 企业：开发纵向肺结节管理产品的厂商，将该方法作为智能对比模块出售给体检连锁机构。客户每年为大量受检者提供前后年度对比，该模块自动标记变化并生成文本描述，使体检报告撰写效率提升 30%，同时减少因忽略细微变化导致的漏诊投诉。

局限

• 方法依赖预先从训练集缓存真实报告的**转变向量** (transition vectors)，这要求存在大量成对的纵向报告，对于新出现的疾病进展模式或罕见病例，向量库可能覆盖不足，影响评分准确性；同时方法仅适用于有至少一次历史检查的纵向场景，无法处理首次就诊患者。
• 推理时需生成 **N** 个候选报告并逐句计算句子嵌入与集合距离，计算开销随 **N** 线性增加；且 **N** 的选择、使用的集合距离类型 (mean-shift / novelty residual 等) 以及聚合策略 (min / kNN) 均通过实验经验设定，缺少对这些超参数敏感性和组合最优性的系统消融研究。
• 实验仅在单一多访视 AP/PA 胸部 X 光队列上开展，未探索该方法在其他图像模态 (如 CT、MRI) 或不同报告生成架构上的迁移性；对比基线仅为**随机选择**，未与现有先进的采样策略 (如基于不确定性加权、奖励模型重排序或对比解码) 比较，因此无法判断其相对于同类采样方法的真实优势。