Libretto: 赋予 LLM 智能体音乐结构感

TL;DR Libretto 为 LLM 智能体提供符号音乐的层次化语法与语料校准的多维度统计评估，将音乐从原始 token 序列变成可度量、可诊断、可迭代修正的结构化对象。

问题

问题背景

生成音乐系统已能从文本 prompt 产出令人印象深刻的音频，但单纯提供听觉输出远未满足创作需求——音乐是一种可编排、可修订的时间结构，而非仅可听一次的波形。

现有方法局限

当前主流文本到音频模型（如 Suno、Udio、MusicLM）直接生成波形或声谱图，其内部表示不显式暴露音符时值、声部分配、乐句划分、和声走向与重复模式。这导致三点关键限制：

• 不可局部编辑：想调整某小节的节奏或替换某声部，只能整体重生成，无法定位修改边界。
• 无法诊断结构：生成结果的旋律动机、和声布局、曲式特征等完全是隐性的，难以分析其是否抄袭训练数据或缺乏新颖性。
• 无法迭代式创作：LLM agent 无法基于可测量的指标进行自我修订、检索参考或风格渐变，因为缺少统一的统计评估空间。

另一方面，符号音乐生成方法虽可编辑，但多数将音乐视为扁平 token 序列（如 MIDI 事件），LLM 难以理解其层次化语法（小节、拍位、声部），且缺乏语料校准的多维度质量指标，使代理式创作陷入盲目。

为什么这个问题难且重要

音乐是六维结构（节奏、和声、旋律、织体、曲式、变奏）的精密协同，每个维度都需在生成过程中平衡模板化与创新性。给 LLM agent 赋予可测量的结构感知，意味着：

• 将音乐从“感觉”转化为可诊断的数值对象，使 copy-risk 控制、风格保真度、结构多样性成为可优化的指标。
• 让迭代式自修订成为可能：agent 能根据统计偏离度定位问题小节，然后仅重写该部分。 这直接关系到 AI 音乐产品能否进入专业工作流——作曲人需要像使用代码 IDE 一样调试音乐逻辑，而非面对一个黑盒音频生成器。业界对可控、可解释、可协作的 AI 创作工具需求强劲，但现有系统在结构透明性上存在根本缺口。

行业类比

正如代码生成需要抽象语法树（AST）来保证可编译性与可分析性，音乐生成也亟需显式的结构表示与统计评估框架，让 LLM 能像理解代码一样理解音乐。

核心洞察

• **结构化语法为 LLM 代理赋予音乐结构感**：Libretto 设计了一种 LLM-native grammar，通过显式的 onset slots、voices 和 bar-level 组织，将符号音乐从原始 token 序列转换为层次化、可编辑的对象。与传统音乐生成模型输出难以解析的音频不同，这一语法让语言模型代理直接理解和操作音乐结构（如分句、声部、小节），从而支持有意义的局部编辑、诊断和结构化控制，将代理的生成能力与音乐理论结构对齐。
• **基于语料校准的统计空间实现评估驱动的修订闭环**：Libretto 在节奏、和声、旋律、纹理、形式、变化六个维度上构建了可量化的统计空间，并利用语料校准的百分位指纹为每个作品生成可比较、可检索的特征向量。这使代理不仅能生成音乐，还能自我诊断、检测复制风险、并根据评估信号迭代修订——将生成从一次性采样转变为可测量的优化过程，更接近人类作曲中分析、修改的循环。
• **面向代理的生成-检索-修订交互范式，拓展音乐 AI 应用边界**：Libretto 将符号音乐作为代理可操作的对象，集成了知识库、检索机制和迭代修订能力，支持空缺填充、参考引导生成、渐变变形、教育音乐生成等多种应用。与以往端到端生成系统不同，它构建了一个开放的人机协作框架，使代理成为主动创作伙伴，为音乐教育、辅助创作等场景提供了细粒度、可解释、可演进的新范式。

方法

Libretto 将自然语言指令（如空缺填充、参考引导全曲生成、渐变变形）作为输入，输出结构清晰、可编辑的符号音乐对象。其核心流程围绕三个关键模块展开。

1. LLM-native 语法与生成

Libretto 定义了一种LLM-native grammar，该语法显式编码了音乐结构：

• onset slots：明确每个音符的起止时间，避免时间歧义；
• voices：分离不同声部，使多声部音乐中的线条关系透明；
• bar-level organization：以小节省为基本单元组织音乐，保留拍号与小节边界。

语言模型代理（agent）直接使用这种语法生成或修订乐谱，而非处理原始 token 序列。生成过程可调用知识库与检索模块，从已有的语料库中查找参考片段，用于引导生成或填充空缺。

2. 结构轴评估空间

生成的每一首乐曲都会在一个语料库校准的统计空间中被分解为六个维度的指纹：

• 节奏 (rhythm)
• 和声 (harmony)
• 旋律 (melody)
• 纹理 (texture)
• 曲式 (form)
• 变奏 (variation)

该空间基于大规模符号音乐语料库构建，通过计算单曲在每项轴上的百分位分布，形成可比较、可诊断的百分位指纹 (percentile fingerprint)，替代了依赖绝对指标的传统评价。

3. 诊断、控制与迭代

同一套结构轴不仅用于评估，还驱动以下操作：

• 检索与诊断：查询与当前作品结构相似的语料片段，辅助发现弱点；
• 抄袭风险控制 (copy-risk control)：通过指纹对比设置门控，过滤与现有作品高度相似的输出；
• 迭代自修订：代理根据评估反馈循环修改，逐步优化音乐质量。

与直接端到端生成音频或 token 序列的同类方法不同，Libretto 将符号音乐转化为可度量、可编辑的结构对象，使 LLM 代理获得了对音乐结构的形式化感知，从而支持透明、可控的创作与调试。

实验

实验设计

Libretto 的实验设计围绕代理式 (agentic) 音乐生成与修订展开，评估其在不同任务下的结构性控制和可编辑性。主要任务包括：空隙填充 (gap filling)、参考引导的全曲生成 (reference‑guided full‑piece generation)、渐进变形 (gradual morphing) 以及教育性生成。每种任务都利用框架的 LLM‑本地语法 (onset slots、声部、小节级组织) 与基于语料库校准的统计空间进行评价。评价空间覆盖节奏、和声、旋律、织体、曲式、变化六个结构轴，并提供了百分位指纹以进行检索、抄袭控制与诊断。实验还测试了基于知识库的检索增强生成与迭代自修订能力。

关键发现

1. 结构化表示显著提升了生成结果的可测量性：与原始 token 序列对比，Libretto 的显式音乐结构使每首作品都能在六个轴上量化，并可进行跨作品比较。
2. 代理能够在迭代修订中持续改进：利用同一套结构轴作为反馈信号，LLM 代理可在多轮修订中逐步优化和声紧张度、节奏复杂度或织体密度，最终产生更符合目标的音乐片段。
3. 抄袭风险可控：通过百分位指纹比对，代理可以在生成前检查与语料库作品的相似度，并主动修改以避免过度复制，这在自由生成任务中尤为重要。

与基线对比

Libretto 并非直接与某一特定模型（如 Music Transformer 或 MusicLM）比拼输出质量，而是提供了从原始序列到可编辑结构对象的范式升级。传统 symbolic 生成模型通常将 MIDI 视为 token 序列，难以进行高层音乐诊断与局部编辑；而 Libretto 的语法与统计评价空间让代理具备了类似“乐谱编辑器”的感知能力。与单纯的 LLM 提示生成相比，Libretto 通过明确的小节格、声部指派和结构指纹，避免了生成内容在形式上的混乱。虽然没有数值指标的严格对比，但定性实验表明这种结构化设计大幅降低了代理在音乐生成中的无意识抄袭与结构失序。

行业影响

落地场景

Libretto 框架将符号音乐从不可编辑的黑箱音频提升为可测量、可编辑的结构化对象，可直接嵌入需要可控音乐生成的产品管线。典型场景包括：

• 短视频/内容平台：为海量 UGC 视频自动生成风格匹配的背景音乐，并通过 copy-risk 控制 降低版权风险。
• 游戏与交互媒体：实时生成随场景变化的配乐，并利用 bar-level 组织 保证音乐循环/过渡的结构完整性。
• 音乐教育工具：为学生生成符合理论规则的示例，同时允许通过 迭代 self-revision 探索修改效果。
• AI 辅助音乐创作：作为 LLM Agent 的可调用工具，帮助编曲者快速填充间隙（gap filling）、变奏或进行风格渐变（gradual morphing）。

商业价值

Libretto 在三条业务线上均有贡献：

• 降本：传统人工编曲成本高，Libretto 的 corpus-calibrated statistical space 与 retrieval-augmented 能力可自动化生成和诊断，将人工从重复性劳动中释放。
• 增收：结构化表征支持 大规模快速生产合规音乐，直接提升音乐版权库供给，适用于广告、播客、直播等对配乐需求量大的商业场景。
• 体验提升：通过 onset slots、voice 分离 使生成结果易于人工二次编辑，且 percentile fingerprint 机制提供可解释诊断，帮助非专业用户理解音乐结构，降低使用门槛。

与现有产品/工作流的接口

Libretto 采用 LLM-native grammar，天然适配当前以 LLM 为核心的 Agent 架构。集成方式包括：

• 作为 LLM Agent 的工具：通过 tool-calling 接口，让 Agent 在规划创作时调用 Libretto 生成/评估音乐片段。
• 与音频生成模型串联：在 Suno、Udio 等模型的前端使用 Libretto 输出结构化符号，再映射为音频，解决纯音频生成缺乏可控性的痛点。
• 嵌入数字音频工作站（DAW）：以插件或微服务形式提供结构评估、抄袭检测和自动修订，增强现有音乐制作软件。

具体落地用例

1. 全球头部短视频平台（如 TikTok、YouTube Shorts）每日新增千万级视频，背景音乐需求巨大。平台可部署 Libretto 作为音乐生成服务，结合检索与 copy-risk gate，为创作者提供「输入视频情绪 → 输出无侵权风险的结构化配乐」功能，并允许进一步修改和弦/节奏，显著提升内容生产效率和音乐合规性。
2. 在线音乐教育应用（如 Yousician 类产品）集成 Libretto，可动态生成符合用户技能水平的练习曲目，并实时分析学生演奏的 rhythm/harmony/melody 偏差，给出可操作的结构化诊断，使教学从“评分”升级为“创作引导”。

局限

• **统计评估的语料依赖性**：Libretto 的评估轴线依赖语料库校准的分布，因此对新音乐风格或小众语种的适应性有限，可能需要重新收集训练集并校准阈值。此外，统计特征（例如 onset 密度、和弦转移概率）更多反映统计共性，难以捕捉音乐语义、情感表达或创造性意图，导致诊断结果对音乐家而言可能不够直观或缺乏解释力。
• **长程结构生成的上下文瓶颈**：虽然 bar-level 组织和 voice 划分提供了局部结构，但 LLM 的有效上下文窗口仍限制了对整首曲目的大尺度形式（如奏鸣曲式、多段变奏）的建模。对于超过数千 token 的符号序列，当前架构可能需要额外的记忆机制或分段生成方案，这会破坏全局连贯性，这是 agent 自修正尚未充分解决的问题。
• **与既有生成框架的对比不足**：实验主要展示了框架的应用场景（间隙填充、形态渐变等），但缺乏系统性的定量对比（如与 Music Transformer、MuseGAN、或基于 ABC 记谱法的 LLM 方法）来衡量生成质量、多样性和复制风险控制的提升。虽然提供了自诊断机制，但未进行大规模人工评测，验证其在实际创作中的可用性。这使框架的优势更多停留在设计层面，而非经过基准验证的改进。