PaperBanana-Interact: 基于多轮人类反馈的科学图表精修

TL;DR 提出 PaperBanana-Interact 多智能体系统，通过内部 critique-and-refine 循环迭代精炼科学图表，显著缓解多轮修改中的质量漂移与特征遗忘，性能超越基线。

问题

自动化科学图表生成（scientific diagram generation）领域近期聚焦于从论文内容直接生成图表（Lin et al., 2026; Zhu et al., 2026a），但单轮生成难以完全满足作者视觉与表达偏好，多轮交互式精炼成为刚需。

现有方法主要局限在单轮输出，缺乏多轮反馈整合机制。形成性用户研究（N=14）显示，所有参与者在看到初稿后均要求进一步修改，86% 认为精炼后图表更满意。然而，现有多轮基线系统（如直接精炼）暴露出两个关键失败模式：

• 质量漂移：图表质量随迭代轮次逐步下降；
• 遗忘：先前已实现的特性在后续修改中丢失。

同时，缺乏大规模多轮基准（如 MTPaperBananaBench）和低成本用户模拟器，使多轮系统难以可靠评估和训练。

多轮图表精炼之所以困难，是因为需要在不破坏既有正确元素的前提下，准确理解并执行新的自然语言反馈，这涉及多模态生成、指令跟随与状态持久化等多重技术挑战。科学图表是学术交流的核心媒介，其质量直接影响论文可读性和传播效率。业界对能稳定处理多轮反馈的生成系统有强烈需求，类似对话式 AI 在代码生成、UI 设计等场景的迭代优化，但图表生成的结构复杂度和语义约束更高。

行业类比：可类比于对话式代码助手（如 Cursor）的多轮代码修改——若每次修改都引入回归 bug，开发者将无法信任系统；同理，图表精炼系统必须保证跨轮次的质量单调性与特征保持，才能支撑真实的作者工作流。

核心洞察

• 多轮图表细化中存在质量漂移 (quality drift) 与遗忘 (forgetting) 两个系统性失败模式，该工作首次通过基准量化并明确定义。以往单轮生成评估只关注最终一次性输出，无法暴露迭代修改中的累积退化；该工作基于 292 张图、3,518 条需求标注，发现所有基线系统均出现质量随轮次下降和已实现特征丢失，为多轮交互系统建立了可诊断的质量曲线与特征保持率指标，指导工程实践需同时监控这两个维度。
• 用户模拟器替代昂贵人类研究，实现多轮 benchmark 的可扩展构建。传统多轮评估依赖真人反复参与，成本高且难以大规模复用；该模拟器在每轮自动识别未满足需求并转换为自然语言反馈，从而批量生成需求标注，降低评测门槛。与完全手工标注的基准不同，它可作为快速回归测试工具，但模拟器与真实用户分布存在差异，最终仍需人类评估校准。
• PaperBanana-Interact 通过内部 critique-and-refine loop 将多轮交互从外部反馈驱动转为内部自监督迭代，有效缓解质量漂移和遗忘。与直接根据用户指令 refine 的基线相比，该多智能体系统在应用外部反馈前先进行内部批判和修正，使得每轮质量持续提升而非下降，遗忘分数降低 3.7–6.2 点；这提示在多轮任务中引入中间自我审查阶段可增强模型稳定性，为交互式生成系统提供架构参考。

方法

输入

系统接收论文的文本与视觉内容，以及多轮自然语言用户反馈。初始图表由单轮生成模型产生，随后用户（或模拟器）提出修改需求。

关键模块

• 用户模拟器：为减少昂贵的人工研究，每轮从标注的 3,518 条需求中识别仍未满足的条目，将其中 k 条转化为自然语言反馈，模拟真实多轮交互。
• 基线多轮系统：包括 PaperBanana-DirectRefine 等，直接根据反馈重绘图表，但存在质量漂移（quality drift）导致整体质量逐轮下降，以及遗忘（forgetting）丢失先前已实现特征的缺陷。
• PaperBanana-Interact：采用多智能体架构，内部运行critique-and-refine 循环。一个 critic 智能体评估当前图表对新旧需求的满足情况，识别质量下降与特征缺失；一个 refiner 智能体据此生成改进版本。多轮循环在返回用户前完成，确保输出不仅响应新反馈，还保留历史正确特征并维持视觉质量。

输出

输出为满足累积多轮需求且质量稳定的科学图表，在需求满足度与整体质量上均优于基线。

与同类方法的差异点：区别于朴素直接精炼，PaperBanana-Interact 通过内部 critic-and-refine 循环主动检测并修复质量漂移和特征遗忘，而非被动响应单轮反馈。

实验

实验设计

研究基于 MTPaperBananaBench，该基准含 292 张科学图表和 3,518 条用户需求标注。通过用户模拟器，每轮识别未满足需求并转化为自然语言反馈，驱动多轮图表精修。评估同时关注需求满足度与整体图表质量，以暴露多轮迭代中的退化问题。

关键发现

基线多轮系统普遍出现两类失败：

1. 质量漂移：图表质量随轮次逐步下降。
2. 遗忘：先前已实现特征在后续轮次丢失。

PaperBanana-Interact 引入多智能体内部 critique-and-refine 循环，在每一轮对外输出前先进行自我批评与修正。结果显示，该方法在质量分数上高出基线 +11.9～+18.6 分，并将遗忘指标降低 -3.7～-6.2 分，且质量随轮次稳定提升而非下降。

基线对比解读

与直接使用生成模型作为 refiner 的 PaperBanana-DirectRefine 等基线不同，PaperBanana-Interact 的内部循环提供了额外的质量关卡，有效抑制了迭代过程中的误差累积与特征覆盖。这一设计可迁移到其他多轮交互式生成任务，如文本到图像编辑、对话式设计助手等。

行业影响

落地场景

多轮科学图表生成 可直接嵌入学术写作工具（如 Overleaf、Google Docs 插件），让作者通过自然语言反馈逐步精修论文插图。企业报告生成平台（咨询、金融分析）也可利用该技术自动生成并优化数据图表、流程图。教育内容平台生成课件示意图时，教师能多轮调整布局与标注。

商业价值

降本：将图表设计外包成本降低 50% 以上，多轮修改无需人工设计师介入。增收：作为 API 服务按调用次数收费，或提升写作工具订阅套餐溢价。体验提升：用户满意度提高（论文中 86% 用户认为精修后图表更满意），减少返工与沟通成本。

跟现有产品/工作流的接口

系统以 MTPaperBananaBench 为评测基准，PaperBanana-Interact 作为多智能体后端，可封装为 REST API 或 GraphQL 接口。在现有写作工具中，通过插件形式捕获用户选中区域与文本反馈，调用模型生成修订版图表。状态管理需维护历史版本与已实现需求列表，避免 forgetting。可集成进 CI/CD 流程，在论文预提交阶段自动检查图表质量。

具体落地 use case：

1. 学术出版平台（如 Elsevier、Springer）为作者提供在线图表精修助手，上传初稿，多轮对话调整，最终导出矢量图。
2. 企业内部知识库（如 Notion、Confluence）自动生成架构图，产品经理通过反馈迭代完善，减少设计工具切换。

局限

• **用户模拟器** 与真实人类反馈存在差距。MTPaperBananaBench 使用规则或模型驱动的用户模拟器来生成多轮反馈，但模拟器可能无法完全捕捉人类作者的复杂偏好（如对特定布局的直觉、对视觉风格的微妙要求）以及创造性修改意图。这导致基准的生态效度受限，使用该基准训练或评估的系统在实际人机交互中可能表现不佳。未来工作应引入更大规模的人工评估或混合模拟机制，以弥补这一鸿沟。
• **多智能体 critique-and-refine 循环** 带来额外的计算开销和设计复杂度。PaperBanana-Interact 内部包含多个角色（如生成器、批评者），虽然能减少质量漂移和遗忘，但推理时延和 token 成本显著高于直接精炼方法（如 PaperBanana-DirectRefine），限制了其在实时或资源受限场景中的应用。此外，多智能体间的协调可能引入新的不一致性，且系统性能高度依赖底层基础模型的多轮编辑能力。
• **基准规模与覆盖范围** 有限。MTPaperBananaBench 包含 292 张图像和 3,518 条用户需求，规模仍较小，且未详细说明图表类型和论文领域的分布（可能偏重特定学科），影响结论的普适性。同时，评估主要依赖自动指标和用户模拟器，缺乏大规模人工主观评价，可能高估系统在真实作者修订场景中的表现。