智能体式视觉生成：从生成模型到 agentic control

TL;DR 提出 L0–L4 四级框架，按控制器对生成操作的直接决策范围划分视觉生成系统的智能体化程度，统一评测从固定生成器到经验自适应控制的演进路径。

问题

问题背景

视觉生成领域正从单次调用生成模型（如扩散模型）向 智能体控制 流程演进，控制器（通常为 LLM 或 VLM）需要规划、选择工具、检查中间结果、修正失败并复用经验。

现有方法局限

现有系统对 agentic 的判定缺乏统一标准。规划深度、工具数量、多角色协作、强化学习常被当作 agentic 证据，但这些能力并不直接决定控制器能够影响哪些生成决策。例如，一个系统使用多个工具但控制器只能固定选择某个生成模型作为执行器，其控制范围实际上比一个能动态调整生成参数的单工具系统更窄。这导致不同系统间难以横向比较，也使研究者难以定位自身工作所处的控制层级。

为什么这个问题难/重要

视觉生成任务空间极大：图像、视频、3D、UI 等模态各异，生成操作本身包括条件准备、执行、结果修正、经验迁移等多个阶段。控制器需要在这些阶段中做出选择，但决策边界的模糊会导致设计过度复杂或能力不足。此外，强化学习等训练方法常与能力混淆，使得学术报告和工程实现脱节。业界对 agentic 系统的投入快速增长，亟需一个清晰的分级框架来指导架构设计和评估基准。

行业类比

类似自动驾驶的 L0-L5 自动化分级，agentic visual generation 也需要一个基于 控制器决策范围 的分级体系，让从业者能像判断 “这辆车是 L2 还是 L3” 一样，快速判断一个生成系统的控制能力边界。

核心洞察

• 将 agentic 视觉生成定义为核心控制器对生成操作直接决策范围的层级（L0-L4），而非以 planning、tool use、RL 等能力特征作为判据。这一角度的独特之处在于将 agentic 的本质从功能列表转移到了决策权限边界，避免了将复杂 wrapper 或链式调用误判为高 agentic，因为工具数量、角色协作或训练方法都不直接决定控制器能改变哪些生成决策。
• 通过 L0 固定支持、L1 条件准备、L2 执行选择、L3 结果适应、L4 经验适应的严格分级，为评估现有视觉生成系统提供了统一标尺，使图像、视频、3D、UI 等不同任务中的系统能按决策深度对齐，而不是按模型规模或输出质量。这帮助工程团队明确当前系统缺陷位于哪个控制层，并清晰规划从声明式控制到可执行控制、再到反馈与经验复用的升级路径。

方法

本文提出一种面向视觉生成系统的agentic 控制层级框架，核心是依据 controller 能直接决定的生成操作范围进行分类，而非依赖模型规模、工具数量或训练方式。

输入与分类对象

输入为现有 agentic visual generation 系统的架构描述、行为记录与相关文献。系统必须满足：存在一个部署的 controller（LLM/VLM 等），且视觉生成模型作为可调用组件。

关键模块：四级决策范围定义

1. L0 Fixed Support：无 controller 或 controller 不做生成级决策，仅含生成器、编辑器、评估器、奖励模型、基准测试或固定流水线。
2. L1 Conditioning Control：controller 只准备生成器的输入（如文本、空间、证据、时间、结构化规格），不选择具体执行的可视操作。
3. L2 Execution Control：controller 通过工具选择、路由或组合，直接决定调用哪个生成、编辑、渲染等操作，但基于任务预设或一次性调用，不观察中间结果（开环控制）。
4. L3 Outcome-Adaptive Control：controller 观察中间生成结果（感知反馈、结构反馈、物理约束反馈、人类反馈），并据此在当前任务内改变后续操作，完成诊断与修复。
5. L4 Experience-Adaptive Control：controller 从已完成任务中提取经验（能力画像、情节记忆、可复用技能、可执行工作流、策略更新），用于改进未来任务的决策。

输出与应用

输出为跨任务的分类地图与能力演进路线图，覆盖图像、视频、编辑、3D、世界、幻灯片、UI 生成等。作者进一步定义边界情况处理：当 controller 仅影响输入但不影响操作类型时归为 L1；当同时具备执行选择与结果观察时才升级至 L3。

跟同类方法的差异点：现有工作将 agentic 能力当作离散特征（如是否使用 RL 或多角色协作），本文改为按 controller 对生成操作的控制范围进行连续分层，提供可复用的比较基准。

实验

本文为综述与框架性工作，未进行传统实验；其“实验”部分体现为对现有系统按 L0–L4 层级的分类分析与评估设计。作者在第十节提出按层级划分的评估方案：L0 检验固定执行器能力，L1 检验条件控制改进，L2 检验执行路径选择，L3 检验反馈修复成功率，L4 检验经验迁移效果，并建议跨层级匹配评估。

关键发现：现有系统控制器决策范围集中于 L1–L2，L3 与 L4 机制尚不成熟，且强化学习多用于 L3/L4 但缺乏统一评估标准。工具数量、角色数量或模型规模并非智能性的充分条件，控制范围才是核心判据。

与基于能力维度的分类（如规划深度、工具使用）相比，本框架强调“生成器可被控制什么”而非“控制器会什么”，避免了将多智能体协作或复杂管线误归类为高阶智能。工程启示：构建智能视觉生成系统时，应优先明确控制器对生成操作的直接支配边界，并针对 L3/L4 设计可复用的反馈与经验存储机制。

行业影响

落地场景

该分层框架可直接用于视觉内容生成平台的控制器升级。在电商商品图生成中，L2 执行控制可让 LLM 根据商品类目动态选择背景替换、风格迁移或 3D 渲染工具；L3 结果自适应控制能在生成后检测构图缺陷并自动触发局部重绘。在短视频素材生产中，L1 至 L4 的递进能力可对应从 prompt 精调、分镜工具编排、逐帧质量反馈到跨项目风格经验复用。教育课件插图与企业营销海报同样可借助 L2 调用不同模型完成图表、插画、实拍合成等混合任务。

商业价值

主要价值在人力成本缩减与内容生产吞吐量提升。传统视觉生成依赖人工反复调试 prompt 与后期修图，而 L3 闭环可将失败修复自动化，减少人工介入轮次；L4 经验复用能沉淀团队风格与工作流，使新任务启动成本下降。对内容平台而言，单位时间可交付素材量提升直接带来广告位填充率或商品上新速度的改善。同时，按控制层级渐进部署可避免一次性替换生成栈的风险，先 L1 后 L2/L3 的路径容易量化 ROI。

与现有产品/工作流的接口

该框架可作为中间控制层接入现有生成模型 API 或自建服务，无需重训底层模型。工程上可将控制器实现为独立的编排服务，通过结构化工具调用协议连接 Stable Diffusion、视频编辑 SDK、渲染引擎等；L3 需要增加一个 perceptual_evaluator 微服务返回缺陷定位信息，L4 则引入向量数据库存储 episode_memory 和 skill_library。对已有 MLOps 流程，控制器策略更新可沿用 SFT/RL 训练管线，只需扩展 trajectory 记录格式。

具体用例：某电商平台使用该框架后，商品图生成从“固定模板+人工修图”改为 L2 动态工具选择——服装类调用换装模型，家居类调用场景渲染，再经 L3 检测阴影不自然并自动修复。某在线教育公司用 L4 沉淀不同学科插图风格，新课程上线时自动匹配历史成功模板，减少插画师外包量。

局限

• 层级划分依赖控制器“能直接控制什么”这一抽象判据，但 L2 与 L3 的边界在实际系统中常因工具调用同时包含隐式反馈而交叉。论文虽提出保守赋值，但缺少可操作的量化判据或自动分类协议，不同研究者对同一系统的层级归类可能不一致，影响框架作为基准或索引的可靠性。
• 作为综述与分类框架，论文未提出新的控制器、训练算法或统一评测，L0–L4 的层级优势主要是概念性而非经实验验证的因果结论。更高层级是否必然带来更好生成质量、效率或可维护性，仍需在受控基准上验证，否则框架的工程指导价值有限。
• 论文覆盖视觉生成各子域，但在多模态 LLM 控制器与生成器联合训练、RL 优化等快速演进方向上，实例多来自早期工作，对 L4 经验自适应控制的讨论较少。同时缺乏对失败模式、rollback 策略与安全风险的深入分析，也未给出跨层级匹配评估的具体可复现指标，难以直接指导工程选型。