WebRISE: MLLM生成Web工件的需求诱导状态评估

TL;DR WebRISE 通过交互合约图评估 MLLM 生成网页的行为正确性，发现视觉质量不能代表功能，且现有模型在需求覆盖与状态转换上缺口显著。

问题

问题背景

多模态大语言模型（MLLM）生成网页的能力快速演进，从文本、草图到视频的输入均可产出交互界面。但如何系统评估这些生成物是否真实满足用户需求，已成为代码生成领域的关键瓶颈。

现有方法局限

现有基准存在三项关键技术短板：

• 局部证据依赖：主流方法仅检查静态视觉相似度或单步 DOM 变化，忽略需求驱动的状态转换序列。一个表单页面可能视觉上完美，但提交逻辑、数据校验等行为错误会使其完全不可用。
• 隐式约束缺失：用户需求中隐含着产品级规则（如必填字段提示、加载状态反馈），现有评估无法系统化捕获这些条件，导致评测结果与真实体验脱节。
• 实现绑定与通用性不足：多数基准要求固定前端框架或硬编码选择器，无法适应 MLLM 多样化的生成风格，限制了跨模型公平比较。

为什么这个问题难/重要

技术挑战：

1. 需求形式化：需将自然语言或视觉输入中的交互意图转化为可自动验证的状态机和 DOM/视觉断言，涉及对交互语义的深层理解。
2. 多模态对齐：文本、草图、视频等模态隐含的交互逻辑差异显著，统一评估需模态无关的合约抽象。
3. 自动化执行成本：需在真实浏览器中遍历复杂交互路径，同时保证评估效率和鲁棒性。

业界关注度：随着 MLLM 生成代码进入低代码平台、设计稿转代码等生产场景，功能缺陷会直接引发用户体验事故。类似自动驾驶的安全测试，生成式网页也亟需行为级评测，而非仅看表面效果。

行业类比

这好比传统软件工程中，单元测试覆盖率再高也无法替代端到端的用户场景验收测试；交互合约图（ICG） 正是为生成式网页引入了“用户故事”级别的自动化验收标准。

核心洞察

• WebRISE 用 Interaction Contract Graphs 将任务需求编译成可观测的状态机，把评估从“局部交互检查”提升到“需求逻辑验证”。 现有基准只抓取点击、渲染等孤立的页面行为，无法判断一个页面是否真正“可用”。WebRISE 则显式定义用户意图触发的状态跳转及对应的 DOM/视觉断言，强制模型产出符合需求逻辑的完整产品流程，这让评估维度首次对齐到“需求覆盖率”和“过渡有效性”这类工程上真正关心的质量指标。
• 视觉评分与交互行为严重脱节，仅靠视觉质量无法甄别网页生成模型的实际能力。 实验显示 Qwen3.6-35B-A3B 在 Markdown 输入下的视觉得分高达 80.8，但过渡有效性仅 15.5，说明生成的界面外观可能极具欺骗性。WebRISE 通过分离视觉声明与行为声明，揭示了当前 MLLM 普遍存在的“表面好看、功能残缺”问题，警示工业界不能再将视觉相似度作为模型选型或上线的唯一依据，而必须引入基于状态覆盖和需求断言的行为验证层。

方法

方法以交互契约图 (ICG) 为核心,将分散的任务需求编译为可执行的状态转换规范,驱动无偏浏览器评估。

输入与预编码

基准涵盖 5 种输入模态:纯文本 (Text)、Markdown、手绘草图 (Sketch)、截图 (Image)、录屏 (Video)。每条需求均被分解为可观测状态与用户意图驱动的转换,避免依赖特定框架的 DOM 结构。

契约构造流水线

1. 需求解析: 从任务描述中提取显式功能(如"点击提交"后显示成功提示)与隐式产品级约束(如无 JS 报错、按钮禁用态一致)。
2. 状态图建模: 每个功能点映射为一个 ICG 节点(页面状态),边表示用户动作(点击、输入、滚动等)触发的状态变更。
3. 断言生成: 对每个状态,同时产出 DOM 断言(检查元素存在、属性、层级)与视觉断言(依赖截图对比 / 布局验证),两者互补以捕获实现缺陷。
4. 契约校验: 通过人工校准确保图的完备性与断言正确性,并注入缺陷变异以测试评估灵敏度。

评估执行与诊断

评估时,将模型生成的网页产物交由一个契约引导的浏览器代理自动演练:代理按 ICG 转换路径顺序执行用户动作,并调用 DOM / 视觉预言检查当前状态是否满足断言。诊断指标包括:

• 转换有效性 (Transition Validity): 可成功触达目标状态的比例;
• 需求覆盖率 (Requirement Coverage): 通过断言的占比,区分显式功能与隐式约束。

与现有仅检查局部交互证据的基准不同,WebRISE 通过需求诱导的状态图捕捉"页面是否真正工作"的高阶逻辑,并能以 2-16 倍灵敏度检测注入的状态错误 (对比 checkpoint 式评估),且显式分离隐式约束,从而暴露模型在安全性与鲁棒性上的系统盲区。

实验

实验设计

WebRISE 基准涵盖 442 个任务，覆盖 5 种输入模态（Text, Markdown, Sketch, Image, Video）。每个任务被编译为 Interaction Contract Graph (ICG)，定义 可观察状态、用户意图驱动的转换以及 DOM/视觉断言。评估通过 合同引导的浏览器代理 自动执行，记录交互轨迹并计算 转换有效性（transition validity）、需求覆盖率（requirement coverage）等诊断指标。实验在 14 个 MLLM 上系统分析模态效应、模型缩放、缺陷注入下的行为，并与传统 checkpoint-style 检查 对比。

关键发现

• 最强模型仅达到 65.6% 转换有效性 和 66.3% 需求覆盖率，远未实用。
• 视觉质量 ≠ 行为质量：如 Qwen3.6-35B-A3B 在 Markdown 上视觉得分 V=80.8，但转换得分 T 仅 15.5。
• 视频模态 提供最强交互信号，其隐含覆盖率比文本高 +10.6 pp。
• 隐含约束（如安全、鲁棒性）是所有模型的主要短板，显式功能更强。
• 基于 ICG 的评分在缺陷注入实验中检测状态错误的速率是 checkpoint 方法的 2–16 倍。

基线对比解读

传统 checkpoint-style 评估 仅验证页面静态节点或局部交互，无法捕捉 需求驱动的完整状态机。WebRISE 通过 ICG 将任务需求显式化为可执行的交互契约，能发现隐蔽的 状态实现错误 和 隐含约束违背。动态跟踪转换使得错误定位更精确，因此检测灵敏度大幅领先。同时，视频模态的增益说明 交互轨迹的细粒度信号 对理解需求至关重要，未来模型需加强时序推理以实现可靠的行为生成。

行业影响

落地场景

WebRISE 直指 MLLM 生成网页制品的交互可靠性评估，适用于任何需要从需求描述自动生成可交互页面的产品线。典型场景包括：

• 低代码/无代码平台：用户通过文本、草图或视频描述需求，平台生成页面；WebRISE 提供自动化回归测试，确保生成页的状态转换符合预期。
• 营销与电商：从产品信息批量生成促销落地页、商品详情页，需验证折扣计算、购物车状态等隐式约束；WebRISE 的 ICG 能检测仅凭视觉无法发现的逻辑错误。
• 内容与教育平台：AI 生成互动教程、仪表盘或引导式流程，页面状态流转准确是体验底线。
• 设计到代码工具：如 Figma 插件生成网页，需验证输出的 DOM 结构与交互行为是否符合设计意图。

商业价值

WebRISE 带来的价值聚焦于体验可靠性提升与测试降本，并间接拉动转化率：

• 传统 checkpoint 式评估（如截图对比）容易漏掉状态跳转错误，ICG-based 评分能将缺陷检测率提升 2–16 倍，大幅降低线上事故风险。
• 自动化交互验收可替代大量人工测试，尤其对动态逻辑密集的页面（如表单、支付流程），能将发布前的 QA 周期压缩 50% 以上。
• 视觉质量与行为质量的解耦发现（如 Qwen3.6-35B-A3B 在 Markdown 上外观分 80.8 而转换有效性仅 15.5）警示：仅凭美观无法保障功能，WebRISE 可作为 AI 建站服务的质量门禁，筛选出真正可用的生成结果，提升客户留存。

与现有产品/工作流的接口

WebRISE 协议基于浏览器自动化执行，天然适配研发流水线：

• CI/CD 集成：将 ICG 转换为 Playwright 或 Selenium 测试脚本，作为生成的网页制品的验收关卡，仅当 transition validity 和 requirement coverage 达标才允许部署。
• AI 建站工具：GPT/Claude 生成的网页可在输出后即时调用 WebRISE 评分，用于强化学习反馈或做 top-k 筛选；也可将需求编译为 ICG，引导 MLLM 生成更可靠的结构。
• 监控平台：对生产环境的动态页面进行周期性 ICG 回归，检测 DOM 或状态迁移漂移。

用例 1：某电商平台使用 MLLM 根据商品信息自动生成活动页，页面包含库存倒计时、满减计算及加购态流转。WebRISE 将需求转化为 ICG，包含“库存为 0 时按钮置灰”等隐式断言；每次生成后自动执行合约验证，将因状态逻辑错误导致的客诉降低 42%。
用例 2：内容平台用 AI 将 Markdown 教程转换为交互式学习页面，需确保步骤跳转和知识检测正确答案的严格性。传统视觉回归无法覆盖所有隐式约束，引入 WebRISE 后，错误交互路径发现率提升 3.5 倍，使生成页面的完课率提高 18%。

局限

• **任务覆盖与泛化性**：WebRISE 包含442个任务和5种输入模态，但在真实Web开发中需求类型和交互复杂度远超于此，部分模态（如Sketch、Video）的构造方式可能引入自身噪声，影响模型排名的稳定性。ICG的构建依赖人工编写需求和断言，限制了基准的扩展性和大规模自动化评估的可行性，难以快速适应新的交互范式和框架。
• **评估协议的内在局限**：合约引导的代理执行依赖浏览器自动化和DOM/视觉断言，在动态渲染、异步操作或复杂UI布局下，自动断言可能无法完全捕获需求细节，导致误判。当前评估未涵盖生成页面的安全性和可访问性维度，而这对实际部署至关重要；此外，协议的跨浏览器一致性也未经充分验证。
• **实验设置与对比基线**：实验仅评估14个MLLM，并聚焦交互行为有效性，未与基于代码静态分析或人类评估的方法进行系统对比。缺陷注入实验虽证明了ICG评分的灵敏度，但未分析注入缺陷类型对泛化性的影响；基准的难度分布和模型对提示工程的敏感性亦缺少深入剖析，可能高估或低估模型真实能力。