DramaChain Bench: 面向短剧生成的端到端基准

TL;DR 首个覆盖短剧全生产链的基准：从剧本到成片逐阶段评估脚本一致性与跨镜头连贯性，用五轴六十三维体系揭示上游缺陷级联，并支持零标注评测。

问题

问题背景

当前 AI 视频生成领域正从单镜头生成走向多镜头、多场景的叙事型内容生产，短剧作为工业化属性最强的内容形态，需要覆盖脚本、故事板、关键帧、镜头视频到成片的完整流水线。

现有方法局限

现有基准几乎只评估 视频生成阶段本身，且输入是预先设计的 prompt，并非来自真实上游阶段输出。这带来两个关键盲区：

1. 无法判断每个阶段是否忠于原始脚本意图，而非仅仅满足其直接输入；
2. 无法评估多个镜头拼接成多集成片后的跨镜头连贯性。 上游缺陷（如脚本信息丢失、关键帧布局错误）会沿链路级联，但孤立评测无法追踪这种传播，导致真实生产质量被高估。

为什么这个问题难且重要

难点在于需要构建统一的维度体系并在所有阶段实例化，需要针对每项缺陷进行 时空定位并建立可追踪的归因记录，还要设计能复现人工排序的 自动代理评判器。业界对短剧自动化生产关注度高，因为它直接决定内容供给效率与成本；若只优化单点模型而忽视链路整体，最终成片质量难以稳定达标。

行业类比

与自动驾驶中的端到端感知-规划-控制链类似——单独评测检测或规划模块无法反映真实行车安全，必须验证整链路的跨模块误差传递；短剧生成同样需要从脚本到成片的整体验证。

核心洞察

• DramaChain Bench 的核心洞察是把短视频生成从“单阶段视频质量”重新定义为“全链路剧本意图一致性”。现有 benchmark 只在 video-generation 阶段用预写 prompt 评估模型，切断了上游真实输出对下游的影响，无法回答“成片是否忠于原始剧本”和“多集镜头是否连贯”。该工作使用共享五轴 63 叶子维度的 DramaChain Dimensions，让每个阶段都接受同一套维度审计，并通过 DramaChain Agent 的管线将真实上游产物注入下游评测，使缺陷级联可追踪。工程启示：AI 视频产品选型必须按生产链评估，而非只看孤立生成质量。
• 大规模可归因标注体系首次把“参考答案”本身做成工程制品，用时空缺陷定位支撑级联分析。区别于只给整体分数或 text-video 相似度的数据集，该工作对 5,785 个条目由三名专业标注员独立评分，所有缺陷被时空定位并从预定义 defect list 选择，生成 255,925 条可追溯归因记录。这使“上游 stage 的哪些缺陷以何种方式传播到最终成片”有定量证据，而非主观猜测。工程启示：生产级生成系统需要缺陷级可归因评估作为迭代依据，端到端黑盒分数不足以驱动复杂多智能体管线优化。

方法

DramaChain Bench 以短剧生产的六阶段链路（剧本 → 故事板 → 关键帧 → 镜头视频 → 成片）为输入，评估各阶段输出与上游真实制品的对齐程度。

关键模块

• DramaChain Dimensions：定义五个评估轴，贯穿六个阶段，细化为 63 个叶子维度，统一衡量剧本意图遵循、跨镜一致性等核心属性。
• DramaChain Agent：对齐商业短剧平台工作流与成片质量的生成系统，为不同模型提供阶段级可比对的输出，确保公平比较。
• DramaChain Labeling System：三位专业标注员对 5,785 个样本独立评分，缺陷从预定义列表中选择并进行时空定位，生成 255,925 条可追溯归因记录。
• DramaChain Agentic Judge：多轮智能体评分器，逐项收集证据后根据清单判断每个叶子维度，与人工标注的模型排名达到 PLCC=0.918。

输出

输出全链路基准分数、模型排名、缺陷归因记录，并支持新模型在零标注成本下完成评估。

与同类工作仅评估视频生成阶段不同，本方法首次覆盖短剧生产完整链路，并量化上游缺陷向下游的级联效应。

实验

实验设计

DramaChain Bench 基于自建生产系统 DramaChain Agent，覆盖剧本、分镜、关键帧、镜头视频、短剧等六阶段，生成 5,785 个评估项；由三位专业标注者独立评分，并进行时空缺陷定位与归因标签，产出 17,488 个有效分数与 255,925 条归因记录。同时开发 DramaChain Agentic Judge，通过多轮证据收集与逐项清单自动打分。

关键发现

• 级联缺陷：上游缺陷会沿流水线传播，最终剧集质量并非仅由视频生成决定。
• 自动评判：Agentic Judge 与人工标注排名的平均 PLCC 达 0.918，可无标注成本接纳新模型。
• 维度异质性：模型在不同维度表现差异明显，具有明确参考锚定的标准判别力更强。
• 性能退化：性能沿文本到视频流水线逐阶段退化。

与基线对比

现有基准多只评估视频生成阶段，且使用预编写输入，无法检验对原始剧本意图的忠实度与跨镜头连贯性。DramaChain Bench 首次覆盖完整生产链，采用真实上游输出作为下游输入，反映实际生产中累积误差；并校准 Agent 系统至商业平台水平，保证阶段间公平比较。

行业影响

落地场景

DramaChain Bench 可嵌入短剧 / 短视频生产平台，用于自动评估从脚本到成片的多阶段生成管线。适用于 AI 视频生成服务商、内容平台的内容审核与质量门禁，以及广告 / 电商视频的批量生产流水线。例如，电商平台用 AI 生成商品短剧广告时，该基准可自动检查脚本意图遵循度、镜头间连贯性及关键帧视觉缺陷。

商业价值

核心价值在降本与提效：人工标注成本高（5,785 条数据、3 人独立评分），而 Agentic Judge 以 PLCC 0.918 复现人类排名，可实现新模型零标注接入评估，大幅缩短迭代周期。同时，上游缺陷级联检测帮助团队定位根因，避免在视频生成阶段重复试错，提升成品一次通过率。对于内容平台，自动质量门禁能降低劣质内容上线风险，改善用户体验和留存。

与现有工作流集成

可作为评估微服务集成进 MLOps 流水线，在模型发布前运行基准测试；或通过 API 接入内容生产系统，对每个生成批次进行实时打分与缺陷定位。DramaChain Dimensions 的分层维度设计兼容现有 A/B 测试和回归测试框架，支持按阶段对比不同模型，无需改造生成管线。

具体 use case：电商场景下，某服饰品牌使用 AI 生成多集短剧广告，DramaChain Bench 自动检查每集是否遵循脚本设定、服装 / 场景是否跨镜头一致，提前拦截构图或文案缺陷；在线教育场景，AI 生成教学情景剧时，该基准确保知识点解释与画面内容对齐，并评估多镜头叙事连贯性。

局限

• 论文未在正文中设专门 limitations 章节，但可推断：人工标注成本高昂，每个样本需三位专业标注者独立评分，共 5,785 项，且标注质量高度依赖标注者专业背景；尽管对缺陷进行了预定义列表和时空定位，但主观维度（如 script adherence）仍可能存在标注者偏差，且标注一致性未公开展示。自动判断系统 DramaChain Agentic Judge 虽达到 PLCC 0.918，但在某些阶段（尤其是视频时间维度）自动化稳定性有限，论文指出“automation limits stem from modality”，即跨模态证据获取与判断仍不可靠，因此新模型完全免标注接纳尚存风险。
• 数据集规模与覆盖范围有限：仅 5,785 个标注项，可能无法覆盖短剧生产的全部风格、题材与视觉特征；三个内部系统（DramaChain Agent 等）与商业平台对齐，但构建时依据的平台选择与数据分布未公开细节，可能引入平台偏差，影响基准的泛化性。此外，基准主要聚焦文本到视频的生成管道，未涉及音频、配乐、配音等短剧重要模态，因此对完整短剧体验的评估仍不完整。
• 与同类基准相比，论文未提供与现有视频生成基准（如 VBench、EvalCrafter、StoryBench 等）在重叠维度上的直接对比或相关性验证，难以判断 DramaChain Bench 的评分体系与已有评价标准的一致性。另外，该基准面向短剧生成这一较新领域，但当前短剧生成模型仍处于早期阶段，参与评测的模型数量有限，可能导致基准的领导板排名不稳定，需要后续更多模型验证其区分度与可复现性。