CanvasAgent: 通过视觉工具编排实现复杂图像创建与编辑

TL;DR CanvasAgent 通过大规模工具编排数据集与混合奖励训练，让多模态 Agent 自主协调多个视觉工具完成复杂图像创作与编辑，从感知推理转向操控式视觉生成。

问题

问题背景

当前多模态代理主要集中于感知、搜索和特定领域编辑，但对于需要多工具协同的复杂图像创作任务（如合成、分割、局部编辑、文本阅读和增强），仍缺乏统一的工具编排框架。

现有方法局限

1. 单模型能力受限：单一生成或编辑模型无法覆盖对象定位、区域分割、中间资产合成等多种子任务，导致工作流断裂。
2. 缺乏工具编排监督：现有多模态代理训练数据大多为感知或检索式交互，没有大规模、可执行的图像创作轨迹，代理无法学习如何规划工具序列。
3. 视觉状态追踪缺失：现有代理多为“观察-推理”模式，不主动修改视觉状态，无法在多轮操作中追踪中间结果并调整工具决策。

为什么这个问题难/重要

• 技术挑战：复杂创作涉及异构视觉工具（如生成模型、编辑 API、OCR）的协调，代理必须理解工具输入输出，管理视觉资产，并在多轮交互中根据中间结果动态调整策略。
• 奖励设计复杂：不仅需要评估最终图像质量（对齐度、美学），还需衡量过程合理性（轨迹效率、工具调用正确性），这要求设计混合奖励信号，并用 GRPO 等强化学习算法优化。
• 业界关注度：随着 AIGC 应用深入设计、广告、影视等领域，端到端自动化创作流程成为提升效率的关键，而当前缺乏可复现的大规模训练数据和可学习的 agent 基座。

行业类比

类似 LLM 代理通过工具调用扩展能力边界，CanvasAgent 将这种范式迁移到视觉创作领域，使代理能像人类设计师一样在“画布”上反复尝试、编辑、组合，最终完成复杂视觉作品。

核心洞察

• CanvasAgent 将多模态 agent 从感知推理转向操作中心的视觉创作：现有工具使用 agent 多为感知、搜索或特定域编辑优化，而复杂图像创建要求 agent 主动变换视觉状态而非仅检查。CanvasAgent 通过多轮交互编排异质视觉工具，在 rollout 中检查中间结果、跟踪视觉资产并动态调整工具决策，填补了 agent 从“理解”到“创作”的能力鸿沟。
• 混合奖励驱动的两阶段训练框架兼顾最终图像质量与过程合理性：先通过 SFT 学习可执行推理-动作轨迹，再用 GRPO 和结合结果（对齐、美学）与过程（轨迹、规则、效率）的混合奖励进行强化学习。这避免了仅优化最终输出可能导致的混乱工具使用，同时确保 agent 不仅学会“画得好”，更学会“画得对”，为长周期多步创作提供可解释且稳健的规划策略。

方法

输入与问题建模

CanvasAgent 接受多模态用户指令（自然语言描述及可选参考图像）与一组异构视觉工具（如 T2I 生成、分割、局部编辑、文本读写、图像增强等）。任务要求 Agent 在多轮交互中编排这些工具，完成从初始空白到最终图像的复杂创作，而非单步生成或简单编辑。

关键模块：数据集与两阶段训练

CanvasCraft 数据集提供大规模监督信号：

• 140K 条完整标注的可执行轨迹（SFT 数据），每条轨迹记录推理步骤、工具调用序列及中间视觉状态；
• 10K 条RL 任务规范，用于强化学习阶段。 数据集通过自动化流程构建，覆盖目标定位、区域分割、内容编辑、资产合成等复合场景。

训练框架分两阶段：

1. SFT（监督微调）：在 CanvasCraft-SFT 上训练 Agent 模仿正确的推理-行动轨迹，学会基本的工具选用与多步协调。
2. RL（强化学习）：采用 GRPO（Group Relative Policy Optimization） 进一步优化，让 Agent 在探索中改进长程规划。核心在于设计混合奖励：
   • 结果奖励：包含 Alignment Score（与参考图像/描述的语义一致性）和 Aesthetic Score（图像美学质量）；
   • 过程奖励：包含 Trajectory Score（步骤逻辑合理性，由 LLM Judge 评估）、Rule-based Reward（工具调用格式与参数正确性）及 Efficiency Penalty（步骤数量惩罚），共同引导 Agent 产出高效且正确的轨迹。

输出与推理机制

推理时，Agent 以视觉状态为驱动：每执行一个工具后，检测中间结果、追踪视觉资产（如已生成的对象、待编辑区域），并依据当前画布状态动态调整后续工具决策。最终输出为符合请求的合成图像，同时附带完整的可解释工具编排轨迹。

与同类方法的差异点：现有工具使用 Agent 多面向感知或单步编辑，缺乏针对多工具、状态依赖的视觉创作的大规模可执行监督；CanvasAgent 通过 CanvasCraft 数据集与 GRPO+混合奖励训练，首次实现了从规划到操作的全链路图像创作 Agent，能自适应修复中间错误并组合异质工具。

实验

实验设计

实验基于自建数据集 CanvasCraft，包含 14 万 条可执行轨迹用于 SFT 和 1 万 条 RL 任务规范。CanvasAgent 采用两阶段训练：首先在轨迹数据上监督微调，学会工具调用顺序与推理；随后通过 GRPO 强化学习优化，使用混合奖励（结合结果对齐、美学得分和过程轨迹得分、规则奖励与效率惩罚）。评估涵盖最终图像质量与多轮交互轨迹行为，与单步生成模型及其他工具使用 agent 对比。

关键发现

• CanvasAgent 在多工具协同创作上效果显著，能根据中间视觉状态动态调整工具策略，完成从对象定位、分割到合成、增强的复杂管线。
• 混合奖励设计有效：结果级奖励保证画面质量，过程级奖励（如轨迹合理性、规则遵守）抑制无效探索，提升轨迹效率。
• GRPO 优化带来增益：仅靠 SFT 的模型易陷入次优管道，RL 让 agent 学会在多种可行方案间选取最佳，应对开放域请求。
• 消融实验证实，移除过程奖励或 RL 阶段会导致轨迹异常率上升和最终图像评分下降。

基线对比解读

相比直接使用单个生成模型（如扩散模型文生图），CanvasAgent 在需要多步骤操作（如先抠图再融合背景）时优势明显，输出更贴合复杂指令。与现有视觉 agent 相比，CanvasAgent 填补了缺乏大规模可执行图像创作轨迹数据的空白，并通过强化学习而非仅靠提示词驱动，实现了对工具链的精细控制。混合奖励比单纯依赖图像相似度或审美评分的优化更稳健，避免 reward hacking。最终，CanvasAgent 展示出从单纯感知推理向主动视觉操作的跨越，为图像创作 agent 提供新基准。

行业影响

落地场景

CanvasAgent 提供的多工具编排能力可直接嵌入在线设计平台（如 Canva、Figma）、电商内容生产系统、社交媒体自动营销工具以及企业内部营销素材生成器。在这些场景中，用户仅需给出自然语言指令，Agent 即可自动执行对象定位、分割、局部编辑、文字合成、画质增强等一系列子任务，将过去需要多款专业软件协作的流程压缩为单一对话式交互。

商业价值

通过将140K 条可执行轨迹蒸馏为单 Agent 策略，CanvasAgent 显著降低了对专业设计师和重复性人工的依赖，直接削减内容生产成本。同时，其多轮适应能力允许在生成过程中捕捉视觉状态变化并动态调整工具链，大幅提升最终图像的质量与一致性，从而改善用户体验和转化率。对于平台方，可基于 CanvasCraft 数据集快速微调自有模型，形成面向垂直领域的图像工作站，构建付费 API 或增值服务的商业化路径。

与现有产品 / 工作流的接口

CanvasAgent 可作为轻量编排层集成到现有 MLOps 栈中：

• 通过标准化接口封装稳定的视觉模型（如 SAM、Stable Diffusion、ControlNet）为可调用工具；
• 使用 GRPO 混合奖励在已有推理 pipeline 基础上进行在线优化，无需修改底层模型；
• 输出设计可按素材分层保留（中间资产跟踪），无缝对接 Photoshop、After Effects 等后期工具的协作。

具体 use case

1. 电商商品图自动化：卖家上传一张白底产品图，输入“将该背包放在户外雪山场景中，调整光影，并添加‘探险季’艺术字”，CanvasAgent 依次调用背景生成模型、光影匹配工具和文字合成 API，全程无需人工切换软件。
2. 社交内容运营：营销人员输入“把上周发布的咖啡海报改成冷色调，突出冰块细节，并将品牌 logo 移到左下角”，Agent 解析多步指令，重用已有视觉资产并逐步编辑，最后输出多尺寸素材可直接投放。

局限

• **数据集构建与工具集预定义可能限制泛化能力**：CanvasCraft 的轨迹生成依赖于预定义的工具集和组合规则，尽管覆盖了多种操作，但现实世界的图像创作需求可能涉及更广泛的工具或非标准化工作流程。训练出的 CanvasAgent 可能过度适应数据集中常见的工具序列模式，在面对全新工具组合或未见过的高阶创作任务时，其决策质量可能下降。此外，数据集中的任务分布可能难以涵盖所有用户意图，导致模型在外推场景下表现不稳定。
• **混合奖励设计依赖预训练评分器，可能引入不完美信号**：论文使用 alignment score、aesthetic score 和 trajectory score 等作为 outcome 和 process 奖励，这些评分器本身可能带有偏差或与人类审美不完全一致。例如，aesthetic 评分模型通常针对特定训练数据进行微调，可能过度偏好某类风格。过程奖励的细粒度评估也可能导致信用分配困难，使 GRPO 优化时陷入局部最优。训练过程中若奖励信号噪声较大，会影响策略学习的效率和最终效果。
• **实验评估集中于自动指标与受控设置，缺乏真实场景验证**：实验主要在特定评估集上比较 image quality 和 trajectory behavior，未引入真实用户的开放式创作任务或与人类设计师交互的现场测试。复杂图像创作 agent 的最终目标是辅助人类工作，但论文未评估其在实际工作流中的可部署性、交互自然度或效率提升程度。此外，缺乏对推理延迟、计算成本和工具调用失败鲁棒性的详尽分析，这些对于工程落地至关重要。