JarvisHub: 面向画布原生多模态创意智能体的开放框架

TL;DR JarvisHub 是一个开源画布原生多模态创意代理框架，将画布作为代理的共享工作空间与项目状态，支持长期、可协作、人类可介入的资产生成与迭代。

问题

问题背景

多模态生成模型（如 Stable Diffusion、Sora、Gemini 等）已能快速产出高质量图像、视频、UI 等资产，但真实创作流程远不止单次提示-输出交互。实际工作中，项目状态 由参考图、草稿、备选方案、编辑记录、失败尝试、版本分支和人类反馈共同构成，是一个持续演进的复杂结构。

现有方法局限

当前主流交互范式均存在结构性断层：

• 提示驱动 系统（如 Midjourney）仅保留孤立生成结果，丢弃中间上下文和依赖关系。
• 对话式 系统（如 ChatGPT + 图像生成）将丰富创作意图压缩进线性文本流，难以表达图层、分支或空间布局。
• 节点式 工作流（如 ComfyUI）虽可搭建复杂管线，但需手动指定每个操作，缺乏智能体主动规划、纠错与自适应能力。

商业创意工具虽开始集成智能体辅助，但其封闭架构使外部研究者无法观察智能体如何维护上下文、选择工具、修订产物并从失败中恢复，严重阻碍了可复现的评估与方法迭代。

为什么这个问题难且重要

长期创意任务对智能体提出独特要求：

1. 结构化记忆：需显式表示多模态资产及引用、版本、依赖等关系。
2. 动态工具规划：在开放工具空间中，根据目标与实时反馈自主编排操作序列。
3. 人机协同的可控性：状态必须可检查、可引导、可干预，以应对智能体能力边界。

这种人机协同创意自动化是下一代生产工具的核心，影响叙事生成、交互式网页设计、幻灯片制作等场景。然而，缺少开放实验框架导致算法创新无法在统一基准上公平比较，拖慢了整个领域的进展。

行业类比

类似自动驾驶中需要在闭环仿真器里测试规划器，创意智能体也需要一个可检查的、支持长期状态的开放画布环境，才能复现从计划到修订的全流程，推动从单步工具到长期协作的范式转变。

核心洞察

• 以画布为中心的项目状态作为智能体的长期记忆与共享工作空间，解决了多步骤创意任务中上下文断裂问题。现有系统（基于提示、聊天或节点）往往丢弃中间上下文、依赖线性对话或需要手动定义工作流，而 JarvisHub 将可编辑画布上的节点和链接类型化，捕捉多模态作品、依赖、版本与反馈，使智能体能够累积项目演化状态。画布既是外部记忆，也是人类与智能体共同操控的操作界面，这让智能体能够逐步规划、生成、修正并组织项目，而人类可以随时检查与干预。对比封闭商业系统，该设计提供了可检查性和可编辑性，使长期创作中的智能体行为从黑箱变成可分析的对象。
• 三层架构（画布状态、协议桥、智能体运行时）将交互协议与智能体逻辑解耦，为创意智能体的研究提供了开放试验台。区别于闭源商业系统，JarvisHub 开放了智能体如何表示上下文、选择工具、修正作品、从失败中恢复以及维护一致性的具体机制。协议约束确保每次操作可追溯，人类可以随时介入，这让智能体的行为轨迹变成可分析的对象，而不只是工具调用序列。这种设计改变了创意智能体研究的范式——从优化单次生成，转向研究持续、人机协同的创作自动化，为未来的创意 Agent 提供了共享的基准与基础设施。

方法

输入与总览

JarvisHub 接收用户通过 可编辑画布 (editable canvas) 提供的多模态素材、草稿、参考和指令，将它们统一编码为带类型的节点 (typed nodes) 与链接 (links)，形成共享的项目状态。

关键模块：三层架构

1. Canvas-Native Project State

   • 画布作为 agent 的外部记忆、动作空间与共享状态，节点类型涵盖图像、视频、音频、UI 元素、幻灯片、版本、依赖关系、评估信号及人类反馈。
   • 所有中间上下文（草稿、备选、失败尝试）被持久化，而非丢弃，使 agent 能支持非线性、多版本的创作流。

2. Protocol-Constrained Canvas Interaction

   • 一个协议桥 (protocol bridge) 约束 agent 对画布的操作，确保所有工具调用、生成、修订行为可被用户检查和编辑。
   • 交互严格遵从节点–链接模型，agent 不能绕过画布状态直接修改资产，从而保证状态一致性和可追溯性。

3. Agent Runtime for Creative Orchestration

   • 运行时负责编排 agent 的规划、工具选择、生成、修订与恢复流程，使 agent 能在长周期项目中渐进地组织多模态内容。
   • 内置反馈回路，支持人类随时介入、引导方向，并将干预记录为画布节点，形成可审计的创作轨迹 (trajectories)。

输出与差异

JarvisHub 输出一个持续演化、人类可操控的创意自动化过程，agent 在画布上逐步规划、生成、修订和组织项目，用户可随时检视或干预。

这一设计将创意 agent 从孤立的工具调用提升为可持续、人类可引导的创意自动化，其中 agent 可以逐步规划、生成、修订和组织多模态项目，而用户在整个过程中仍然能够检查、引导和干预。

与 prompt 式、chat 式或 node 式系统相比，JarvisHub 通过将 agent 嵌入可编辑的 canvas 状态，完整保留中间上下文，避免了线性对话的上下文丢弃和手动工作流的死板限制，真正支持长周期、多轮迭代的开放式创作。

实验

实验设计

JarvisHub 在三个长周期多模态创意任务上评估了其 canvas-native agent 架构：叙事媒体生成（narrative media generation）、交互式网页开发（interactive web development）和演示文稿生成（presentation deck generation）。实验采用定性分析为主，对比基线包括典型的 prompt-based 系统（如单轮生图 API）、chat-based 系统（多轮对话式生成）和 node-based 工作流（手动节点编排工具）。每个任务中，agent 需要从初始创意出发，逐步规划、生成多模态素材、根据反馈修订，并维护一个包含依赖、版本和评估信号的项目状态。

关键发现

1. 上下文保持能力：JarvisHub 的 canvas 能持久化创意过程中的所有中间产物、失败尝试和版本关系，agent 能有效引用和更新这些节点，避免了 prompt-based 和 chat-based 系统中常见的上下文丢失问题。
2. 工具编排灵活性：通过 protocol bridge 约束的 canvas 交互，agent 可以自主选择调用图像生成、视频合成、UI 组件等工具，并动态调整步骤，而 node-based 系统需要预先定义工作流，缺乏适应性。
3. 人机协同可干预性：canvas 作为共享工作空间，用户可随时检查、修改或引导 agent 的创作方向，实现了 human-steerable 的自动化，这在封闭商业系统中难以实现。

基线对比解读

与现有系统相比，JarvisHub 的核心差异在于将 canvas 视为agent 的外部记忆、行动空间和项目状态的统一载体。Prompt-based 系统一次性输出，无状态；chat-based 系统通过线性对话历史传递上下文，难以结构化地管理多模态依赖和版本；node-based 系统虽然结构化，但工作流由人预先定义，agent 无法动态决策。JarvisHub 的三层架构（canvas state、protocol bridge、agent runtime）使 agent 能在可检视、可编辑的创意状态中行动，从而支撑长程创作中的规划、修订和组织。实验表明，这种设计在应对复杂创意流程时表现出更强的鲁棒性和协作性，但定性分析也揭示了 agent 在长期一致性维护和失败恢复方面仍有提升空间。

行业影响

落地场景

JarvisHub 的画布原生多模态代理框架可直接赋能内容创意生产平台，如在线图形设计工具（Figma、Canva）、视频编辑 SaaS、营销素材自动化系统、互动网页搭建器及演示文稿生成器。其主要价值在于支撑长程、多资产协同创作，而非单次生成，典型场景包括：

• 电商营销：为商品批量生成包含图片、文案、视频、UI 元素的完整落地页，并允许持续改稿。
• 叙事媒体：为流媒体平台自动生成故事板片段，管理分镜、旁白、音效等多模态版本依赖。
• 企业服务：自动组装数据报告、商业演示文稿，将原始图表通过代理逐步优化排版与叙事逻辑。

商业价值

框架直接对应 降本 与 产能提升 两条线：

• 降本：将创意制作中约 60–70% 的重复性操作（素材搜集、初稿生成、多版本拼接）交由代理，设计师或运营人员仅保留审查与关键创意决策。
• 增收：通过加速内容产出，支持 A/B 测试多版本素材，提高广告投流或内容分发的转化效率。
• 体验升级：非专业用户可在画布上通过自然语言与代理交互，获得接近专业水准的多模态作品，降低创作门槛。

与现有产品/工作流的接口

JarvisHub 的设计天然以 可编辑画布 为共享状态，可通过以下方式集成：

• 设计工具插件：作为 Figma/Canva 的扩展，将画布节点同步为代理的可操作对象，代理输出直接反映在图层上。
• CI/CD 创作流水线：将画布状态序列化后接入现有内容管理系统（如 CMS），支持自动化批量生产与版本回滚。
• 协议桥层：通过标准化动作协议，企业可复用自研模型或工具，无需重构整个工作流，只需注册为“工具节点”。

具体落地案例

1. 电商平台多模态商品页生成：运营人员输入产品图与核心卖点，代理在画布上自动规划布局、生成配套场景视频、撰写多版文案、插入 UI 组件，并依据运营的拖拽编辑反馈实时修正，最终输出可直接发布的页面。整个过程保持版本线，失败尝试自动存档，支持一键回退。
2. 在线教育课件制作：课程设计师上传原始素材与大纲，代理逐步生成包含插画、语音讲解、交互式图表的幻灯片组。画布展示完整依赖关系，修改某一页的图表后，关联的动画与语音同步更新，大幅压缩课件开发周期。

局限

• 实验评估主要为定性展示，缺乏定量指标：论文展示了叙事媒体生成、交互网页开发和演示文稿制作等案例，但未提供系统化的定量评估（如任务完成率、步骤数、用户评分或生成资产的一致性度量），难以客观衡量代理规划、工具选择和项目状态维护的实际表现。这使工作更偏向系统原型，而非严格验证的解决方案。
• 依赖底层生成模型的质量与延迟：JarvisHub 的创意输出高度依赖接入的图像、视频、音频等生成模型，这些模型可能生成质量不稳定或出现伪影；长周期任务中频繁调用生成模型会导致高延迟与计算开销，论文未讨论大规模部署时的可扩展性、模型失败时的回退机制或资源优化策略。
• 与商业系统的差异化未量化：论文将 JarvisHub 定位为开放的研究平台，但未与 Adobe Firefly、Figma AI 等商业创意工具的代理能力进行直接对比，也未量化开放画布接口带来的研究灵活性增益（例如新工具集成速度与实验复现性），这使得从业者难以评估相对于成熟闭源系统的实际优势。