AVE-Compass：迈向音视频编辑能力的全面评估

TL;DR 提出首个音视频联合编辑评测基准 AVE-Compass，系统评估跨模态指令执行与保真度，并设计模块化 Agent 框架 AVE-Agent 通过任务分解与自反思迭代提升编辑质量。

问题

问题背景

指令驱动的视频编辑（instruction-based video editing）已能对静音片段进行较精细的视觉修改，但真实视频中视觉与音频信号高度耦合，单一模态的编辑往往会破坏整体观感。该领域正从“无声视觉编辑”向“音视频联合编辑”拓展。

现有方法局限

当前基准主要存在两方面缺陷：

• 评估维度割裂：多数只衡量视觉变换质量（如物体替换、风格迁移），或单独评测音频修改，缺乏对“跨模态一致性”的系统检查，导致编辑后的音频与视频内容不协调。
• 任务覆盖狭窄：编辑指令通常仅涉及简单属性更改，未能覆盖需要联动修改的复杂场景（如“将说话的人换成狗，同时把语音换成狗叫”）。

为什么这个问题难/重要

• 技术挑战：视觉编辑（如修改物体、动作）通常需要音频的同步调整（如声源、环境音），否则会产生视听不同步、语义冲突等严重失真。同时，非编辑区域的保真度保持在跨模态联动中更难维持。
• 业界关注度：随着视频生成模型（如Sora、Kling）开始集成音频生成能力，音视频联合编辑的质量评估直接关系到产品可用性，但相关评测工具严重滞后。

类比：就像自动驾驶需要同时感知视觉与雷达信号，音视频编辑若只优化单一模态，就像只修图却不管语音提示，最终体验会有严重撕裂感。

核心洞察

• 现有视频编辑评估大多割裂音视频模态，忽略真实的音画耦合需求。AVE-Compass 首次系统构建了包含 196 条音视频联合编辑指令与 2688 项细粒度检查点的基准，填补了对跨模态指令执行与一致性评估的空白，促使研究者必须同时关注画面变换与对应音频的协调修改。
• 复杂音视频编辑通常需要跨模态子任务协同，单步模型易顾此失彼。AVE-Agent 引入模块化代理，通过任务分解、自省优化与混合评估反馈的闭环，将难指令转化为可执行的子任务链，实证表明其在指令遵循和音视频对齐方面显著优于端到端模型，为多模态编辑提供了一条可解释且可提升的实现路径。

方法

AVE-Agent 是一个模块化智能体框架，用于音频-视觉联合编辑。其工作流程遵循 输入 → 规划 → 执行 → 评估 → 迭代 的闭环。

输入与预处理

• 输入为一对 源视频（含音频） 和一条 自然语言编辑指令，指令通常涉及跨模态变化（如“将鼓声替换为钢琴，同时让乐手动作匹配钢琴演奏”）。
• Video Analyzer（视频分析器）预先提取视频的场景描述、关键对象和音频事件，为后续规划提供上下文。

关键模块

1. Planner Agent（规划智能体） 接收指令和视频分析结果，利用大模型将复杂指令分解为 一组有序且依赖的子任务（如先编辑音频，再调整视觉动作）。每个子任务指定目标模态、期望变化和验证条件。

2. Executor Agent（执行智能体）

   • 配备 自检反射循环（self-check reflection loop）：执行子任务后，自动检查中间结果是否符合预期；若不符，则调用工具重新编辑，直到满足内部检查标准。
   • 通过 Tool Registry（工具注册表） 调用具体的视频/音频编辑模型，实现模态解耦的执行。

3. Mixed Evaluator Agent（混合评估智能体） 对整体编辑结果进行多维度评估，包括 指令遵循度、保真度、真实感 和 跨模态一致性。它结合基于检查表的评判与自动化指标，生成结构化反馈。

输出与迭代

• 初步编辑结果经 Mixed Evaluator 评分后，反馈回 Planner 和 Executor，触发新一轮规划与修正，形成迭代改进循环，直至满足质量标准或达到最大迭代次数。
• 最终输出为 编辑后的视频，音频和视觉内容协调一致。

与同类方法的差异

现有视频编辑方法通常将音频和视觉视为独立通道，无法处理编辑中跨模态的连锁变化。AVE-Agent 通过 任务分解、依赖建模和迭代评估 首次在智能体框架下实现了音频-视觉联合编辑的闭环控制。

实验

实验设计

AVE-Compass 基准包含 145 个精心挑选的源视频 与 196 条音视频耦合编辑指令，并细化为 2,688 个原子检查项。评测体系融合 MLLM-as-Judge 与自动化指标，覆盖四个维度：编辑意图 (EI)、指令遵循 (IF)、保真度保持 (FP) 和 真实感 (REAL)。自动化指标进一步划分为跨模态同步、视频质量与音频质量。实验对比了多个前沿模型在联合音视频编辑上的表现，并评估了提出的 AVE-Agent 框架。

关键发现

• 现有顶级模型在 跨模态指令执行 上普遍薄弱，难以在编辑一种模态时恰当协调另一种模态的变化。
• 非目标内容保留 是共同挑战：模型常过度修改无需变化的视觉或音频区域，导致保真度大幅下降。
• AVE-Agent 通过 指令分解、自我反思 (self-reflection) 与 混合评估器反馈 的迭代优化，显著提升了指令执行准确率与音视频对齐度，同时 保持有竞争力的感知质量。
• 消融实验表明，反思循环与任务分解对复杂编辑场景至关重要。

与基线对比的深入解读

与直接使用端到端模型或单模态编辑器相比，AVE-Agent 的模块化代理架构 展现出更强的任务规划与错误修正能力。它将复杂编辑分解为可管理的子任务，并利用专门工具依次执行，有效缓解了模型在长指令下的遗忘与混淆问题。虽然某些自动化指标（如 FID）可能接近，但 人工评估和细粒度检查 显示 AVE-Agent 在 编辑意图对齐 和 跨模态一致性 上具备明显优势。这一结果揭示了 评估维度的多维性：单纯的自动分数不能反映实际编辑质量，需结合细粒度 checklist 与人类判断。

行业影响

落地场景

AVE-Compass 与 AVE-Agent 主要面向需要音视频同步编辑的产品与业务。短视频平台（如 TikTok、YouTube Shorts）、在线教育、影视后期、虚拟主播、广告创意制作等场景中，常需要对视频进行配音替换、背景音乐调整、添加音效等操作，同时保持口型、动作与声音的精准同步。现有的 AI 编辑工具大多独立处理视觉或音频模态，忽略了跨模态一致性，导致编辑后产物出现声画错位、口型不匹配等问题。AVE-Compass 提供了首个针对联合编辑能力的系统评估基准，而 AVE-Agent 则能以模块化智能体的形式自动拆解复杂指令，迭代优化编辑结果，显著降低人工调校成本。

商业价值

• 降本：减少专业编辑在音视频对齐、多轨时序调整上的重复劳动，将单条视频的后期处理时间从小时级压缩至分钟级。
• 增收：对于 UGC 平台，降低高质量视频制作门槛可刺激内容供给量，提升用户活跃度与广告变现效率。
• 体验提升：端到端的音视频联合编辑能生成更自然的影片，例如为虚拟角色自动生成匹配语音的口型动画，或为直播切片智能配乐并保持节奏一致，直接提升观众沉浸感。

与现有产品/工作流的接口

AVE-Compass 可集成到模型选型管线中，作为评估不同音视频编辑模型（如视频生成、语音合成、唇形同步模型）组合效果的标准化测试集。AVE-Agent 采用模块化框架（分析器、规划器、执行器、评估器），可通过 API 轻松对接现有视频处理堆栈（如 FFmpeg、云剪辑服务），作为智能中间件嵌入：

1. 上游接收自然语言编辑指令（如“把背景乐换成轻快风格，同时将说话人声音变年轻并保持口型”）。
2. 内部拆解为多个模态的子任务，调用不同专家模型（视频生成、音频合成、唇形同步）。
3. 通过自我反思与评估器反馈循环，对输出质量进行把关后交付最终结果。

具体落地 use case

用例一：电商直播切片二次创作 某国际电商平台的主播在直播后，运营人员希望将精彩片段配上多语言配音并更换背景音乐，用于社交媒体投放。AVE-Agent 可自动将原语音替换为目标语言合成语音，同步调整口型，同时将背景音乐重混至与语音节奏匹配，整个过程无需人工逐帧对齐。

用例二：在线课程视频无障碍改造 教育科技公司需为现有课程视频批量添加手语翻译或配音解说。AVE-Agent 能将新解说轨与教师的肢体动作、幻灯片切换时间轴对齐，并确保音频质量与原有环境音融合自然，大幅提升内容可访问性而无需逐课手动后期。

局限

• **基准覆盖范围有限**:AVE-Compass 仅包含 145 个源视频和 196 条编辑指令，虽然构建了细粒度检查项，但视频数量和编辑类型多样性仍不足以覆盖真实世界复杂的音视频联合编辑场景，例如多声源分离编辑、长时程叙事性编辑等。这可能导致评估结果的泛化性存疑，尤其当被测模型在未见过的新编辑类型上表现时，基准难以提供充分反馈。
• **评估管线依赖 MLLM 裁判**:论文采用 MLLM-as-Judge 结合 checklist 打分，尽管设计了各类对抗偏向的策略，但 MLLM 本身可能存在幻觉、视觉-语言对齐偏差以及跨模态时序理解不足等问题，这会引入系统性误差。与全参考的自动化指标相比，MLLM 评判的可复现性和一致性在边缘案例上难以保证，限制了对细微质量差异的敏感度。
• **AVE-Agent 计算开销大且可解释性有限**:所提代理框架需要多次调用大语言模型进行计划、执行与反思，导致编辑延迟和算力成本显著高于单步编辑模型。此外，分步执行中错误积累、反馈信号模糊等问题使系统调试困难，且对底层音视频编辑子模型的依赖较强，泛化到不同后端工具链时可能需要大量适配工作。