OmniScope: 面向全模态大语言模型的模态解耦Token压缩

TL;DR 解耦模态显著性估计的token压缩框架OmniScope，分别处理音频与视频，25% token保留下实现3.53倍加速且精度仅降0.35点。

问题

全模态 LLM 推理的效率瓶颈

全模态大语言模型（如 Qwen2.5-Omni 等）需要同时处理音频与视频的长上下文输入，导致 预填充延迟陡增 和 GPU 显存占用高昂。Token 压缩是缓解该问题的常用策略，但现有方法普遍存在跨模态指导假设失效的缺陷。

• 现有方法的局限：主流压缩方案往往让一种模态（如音频）决定另一种模态（如视频）的 token 保留权重，即单向显著性传递。然而，作者发现 音频与视频对同一查询的关键线索常常峰值时刻错位（跨模态显著性不匹配）。例如，当问题仅与视频中的物体突然出现相关，而对应时刻并无显著音频变化时，以音频为指导的压缩会错误地丢弃视觉证据。这种单向指导在激进压缩率下极易导致 答案关键信息丢失。

• 为什么这个问题难且重要：音视频的 时序对齐复杂性 和 冗余模式差异（音频连续性强、视频稀疏依赖变化）要求压缩策略必须解耦模态特性。同时，为保证部署灵活性，方法需做到 训练无关（training-free），不能依赖额外微调。OmniScope 的核心洞察——“查询跨模态共享，但显著性估计各自独立”——打破了传统跨模态绑定的惯性，其 anchor-delta 视觉剪枝 与 按秒合并音频 token 的设计，为实时全模态推理提供了简洁且高效的新范式。

行业类比：类似于在智能视频会议中，根据当前发言问题，分别独立压缩传输屏幕共享画面与麦克风语音流，确保在带宽受限时仍能保留回答所需的图表细节和关键语音指令。

核心洞察

• 跨模态显著性错配是制约全模态 LLM 推理压缩效率的根本瓶颈：同一查询下，音频与视频的关键信息时刻往往不一致，而现有方法依赖一个模态去指导另一个模态的 token 保留，会错误丢弃答案关键线索。OmniScope 通过解耦显著性估计，用共享查询作为锚点，分别为音频和视频分配保留预算并独立评估相关性，避免了跨模态错误传播，在激进压缩下仍能保持精度。这一发现为全模态推理提供了新的设计原则——共享查询，不共享显著性。
• OmniScope 提出了一种免训练的、模态特化的 token 压缩框架，通过 anchor-delta 视觉剪枝保留全局上下文和时间变化，并结合逐秒音频合并减少冗余，实现了在 25% 总 token 保留率下 3.53 倍预填充加速和超过 15% 的 GPU 显存节省，而平均准确率仅下降 0.35 分。与多数需要额外训练或固定压缩比的方法不同，OmniScope 的零样本特性和模态自适应预算分配使其可直接应用于任何全模态 LLM，无需重新训练或微调，为高效全模态推理提供了即插即用的工程方案。

方法

输入

OmniScope 接受 全模态大语言模型 (OmniLLM) 的原始多模态输入：一段 视频 (video)、一段 音频 (audio) 以及一条 文本查询 (query)。用户设定一个整体压缩目标（如 25% token 保留率）。

关键模块

1. 独立相关性估计
   将查询作为共享语义锚点，分别为音频和视频 token 计算与查询的相关性分数。这与传统做法截然不同：现有方法通常依赖单一模态（如视频）的显著性来指导另一个模态（如音频）的 token 保留，但 OmniScope 指出 跨模态显著性往往不同步（同一查询下，音频与视频的高相关时刻可能错位），因此必须解耦估计。

2. 模态感知预算分配
   根据各模态内部相关性分数的分布，动态分配 模态特定的 token 预算。而非全局统一压缩率，使得重要模态能保留更多关键 token。

3. 视觉 token 压缩：锚点-增量剪枝 (Anchor-Delta Strategy)

   • 选取若干 锚点 token，保留视频的全局上下文（如场景、背景）。
   • 同时保留 增量 token，捕获相邻帧之间的时间变化（如动作、运动）。
   • 这样既可大幅剪枝静态冗余，又不丢失回答所需的动态细节。

4. 音频 token 压缩：逐秒合并 (Per-second Merging)

   • 以一秒为时间窗口，将窗口内的音频 token 合并为更少的代表 token。
   • 在降低冗余的同时保持 时间连续性，避免破坏语音、环境音的时序结构。

输出

压缩后的 混合 token 序列，直接送入下游 LLM 进行推理。整个过程 无需训练，可即插即用于各种 OmniLLM。

与同类方法的差异

OmniScope 通过 解耦模态间显著性估计 与 模态自适应压缩策略，避免了单向跨模态引导所导致的答案关键线索丢失，在激进压缩下仍能维持高准确率。

实验

实验设计：在四个音频-视频理解基准上评估 OmniScope，涵盖 Qwen2.5-Omni 的两个规模（7B 和 14B）。设置多种整体 token 保留比例（如 25%），与现有 token 压缩方法对比，所有方法均无需额外训练。

关键发现：OmniScope 在所有压缩设定下取得最佳平均准确率，验证了模态解耦压缩的有效性。在 25% token 保留率时，预填充速度提升 3.53 倍，GPU 内存占用降低 超过 15%，平均准确率仅下降 0.35 点。这证明以查询为共享语义锚点、独立估计模态重要性的策略，在激进压缩下仍能保留答案关键信息。

基线对比深度解读：传统方法假设一个模态的显著性可指导另一模态的 token 取舍，但 OmniScope 揭示跨模态显著性峰值常不同步，单向引导易丢弃关键线索。通过锚点-增量策略修剪视频 token 并按秒合并音频 token，OmniScope 在相同压缩率下显著优于依赖跨模态指导的基线，为多模态大模型推理优化提供了简洁设计原则。

行业影响

产品落地场景

OmniScope 直接服务于全模态大语言模型 (OmniLLM) 的推理加速，适用任何依赖音频 + 视频融合理解的产品。典型业务包括：

• 视频内容平台：对海量 UGC 视频进行自动标签、合规审核、情感分析，需快速处理长视频流。
• 实时会议与协作工具：多模态摘要、关键片段定位、会议要点提取，要求低延迟生成。
• 智能教育 / 培训：教学视频情境化问答、知识点抽取，用户等待时间敏感。
• 电商直播分析：实时商品识别、主播话术理解、互动监测，支撑推荐与风控。

商业价值

论文在 Qwen2.5-Omni 上实测，25% token 保留率下实现 3.53 倍 prefill 加速、>15% GPU 显存节省，平均准确率仅下降 0.35 点。这直接转化为：

• 推理成本大幅下降：同样模型、同样 GPU 集群可支撑更高并发，或降低单位请求成本。
• 用户体验提升：实时场景中延迟从秒级压缩至亚秒级，用户留存与付费转化受益。
• 模型部署更灵活：显存敏感的端侧 / 边缘设备能够运行更大尺寸 OmniLLM，拓展产品形态。

与现有工作流集成

OmniScope 是 训练无关 (training-free) 的 token 压缩框架，可无缝嵌入主流 OmniLLM 推理管线：

1. 作为 prefill 阶段的前置模块，输入为原始音视频 token 序列与 query embedding，输出压缩后的 token 集。
2. 即插即用：无需模型重训或微调，不与现有推理加速工具（vLLM, TensorRT-LLM 等）冲突，可作为自定义算子集成。
3. 兼容多模型：已验证适配 Qwen2.5-Omni-0.5B / 7B，架构上可泛化至其他基于 Transformer 的 OmniLLM。

具体落地 Use Case

• 电商直播审核：每秒需要同时分析画面（商品展示、主播动作）与语音（促销内容、违规词）。OmniScope 将音视频 token 分开压缩，保留各自关键片段，在 75% token 削减下仍能准确检出违禁信息，单卡吞吐提升 3 倍，直接降低审核人力与算力开支。
• 在线教育智能辅导：学生观看教学视频时可随时提问，系统需快速定位相关片段并生成解释。OmniScope 的 anchor-delta 策略 保留全局上下文与变化帧，音频 token 合并降低冗余，保证低延迟的同时不丢失关键教学信息，支撑交互式学习体验。

局限

• 方法仅针对音频-视频双模态设计，未验证其在文本、图像等其他模态上的有效性。标题中的“Omnimodal”暗示通用性，但实验局限于音频-视频基准，核心假设（跨模态显著性不匹配）在其他模态组合下是否成立仍未知，限制了方法在更广泛多模态大模型上的直接迁移。
• 作为训练无关框架，OmniScope 的性能严重依赖人工设定的超参数（如模态预算分配、锚点选择策略、音频合并粒度），不同任务和数据集可能需要大量调试才能达到最佳平衡，缺乏自适应优化能力，在复杂场景下固定压缩率可能因信息丢失或冗余影响答案质量。
• 实验仅基于 Qwen2.5-Omni 单一模型系列，未与其它多模态大模型（如 GPT-4o、Gemini）及同类 token 压缩方法（如 FastV、ToMe）进行全面对比，泛化性存疑。此外，仅报告了预填充（prefill）阶段的加速与显存节省，未给出端到端推理延迟，实际部署收益待评估。