行业新闻

UBC 与 Vector Institute 提出 RVCBench,系统评测 18 个语音克隆模型的真实场景鲁棒性

语音克隆的问题从“在测试集上模仿得像不像”扩展到了“换到真实条件下还稳不稳”:RVCBench 用四环节、10 类任务的统一基准来量化模型在下游部署中的退化,并已开源为 pip 工具包。

语音克隆模型在干净测试集上表现很好,但真实场景里会碰到带噪参考音频、异常文本、长段落、跨语言生成、压缩与电话传输,甚至说话人主动加入的防克隆扰动。英属哥伦比亚大学(UBC)与 Vector Institute 的研究团队提出 RVCBench,沿输入、生成、输出、音频扰动四个环节设计 18 项评测、10 类任务,共 14370 个样本,系统测试 18 个开源模型,并把基准做成可直接 pip 安装的评测工具包。

正文摘录

![](https://image.jiqizhixin.com/uploads/article/coverimage/96331735-bc56-4090-97b0-3c7a4240f118/066(2).jpg) ![图片](https://mmbiz.qpic.cn/szmmbizpng/5L8bhP5dIqElqZ0GcgINP4V78xIEARSSDI7pRpUQpZAhGK6rr8zoMJM3icYLohdHNhq93gll1YkHwsYaOO3tolCuL5QN5gAtJc46PnNgECQI/640?wxfmt=png&from=appmsg&tp=webp&wxfrom=5&wxlazy=1imgIndex=0) 导读:只需几秒参考音频,现代语音克隆模型就能合成与目标说话人高度相似的语音。但真实部署中的参考录音往往带有噪声,文本可能异常、超长或跨语言,生成的语音还要经过压缩和电话传输,有人甚至会给自己的声音加上「防克隆」保护。在这些条件下,模型还能保持内容、身份和自然度吗?来自英属哥伦比亚大学(UBC)与 Vector Institute 的研究团队提出 RVCBench,把语音克隆的鲁棒性拆成输入、生成、输出和音频扰动四个环节,用 18 项评测、10 类任务系统检验 18 个代表性开源模型,并将基准升级为可直接 pip 安装的通用语音克隆评测工具包。该工作已被 NeurIPS 2026 接收。

阅读原文(jiqizhixin.com)→

行业新闻机器之心2026-10-22原文

相关内容