歌歌AI实现高质量中文歌曲生成，与字节跳动达成版权合作
歌歌AI解决了中文AI音乐的人机味，并与字节合作打通商业化通路。
歌歌AI采用原生双流设计实现人声与伴奏精准对齐，并加入拼音时间轴和情绪调控，生成的中文歌曲咬字清晰、富有情感。用户可商用，作品能上架字节系平台并获得分成。
正文摘录
这首歌，是我让它以一首我特别喜欢的 Jazz Hiphop 为灵感，给定歌词， zero-shot 生成的。 特别是 verse 第四句歌词开头那个「塞」的咬字，我很少听到 AI 国语音乐注意到这个细节，像 s、c 这种舌尖前音，其实是特别适合用带停顿的短促发音来制造律动的。 端到端 那种，用户输入歌词、风格情绪描述与指定歌手，模型一次性直接生成长达 3 分钟、人声与伴奏俱全的完整立体声歌曲，还能同步输出独立的人声分轨与伴奏分轨。 英语里一个词可能有多个音节，而且弱读、连读、吞音很多，比如 I wanna know，唱起来可以糊成一串，也能听懂。 这也是为什么，YouTube 英文播客基本无自带字幕，但在中文社区，内嵌字幕是必备的。 英语是重音计时型语言，一个音节可以拉多长都行，无所谓；中文歌词和旋律、节拍之间的对应关系会更难把握。比如爱可以拖成「爱～～」，但如果把「的」「了」「着」这种轻声助词拖得特别长，会巨奇怪。 传统 AI 音乐的做法是「事后对拍」。人声和伴奏各自生成完毕，再像两个图层一样硬叠在一起。 拆开做当然技术难度更低，但总会觉得人声和伴奏之间隔了一层什么东西。各唱各的，没有呼吸感。 他听着伴奏的律动，感受着鼓点的推进，然后决定——这个气口落在哪里，这个音要怎么咬，这段尾音该收还是该放。 原生双流设计 ——人声一条通路，伴奏一条通路，各走各的生成链路。两条线并行往下跑，中间通过跨流注意力机制，实时完成节奏与和声的精准对齐。 模型如果搞不清每个字在时间轴上的精确位置、发音时长，就会出现音节错位、字音模糊。听着像嘴里含着糖在唱歌…… 正常聊天无所谓，音乐是有「节奏」限制的，人耳在这种场景下非常敏锐，模型即便每句歌词只有一个字没咬对，那就是灾难。 在模型「开嗓」之前，先告诉它每个字的拼音在时间轴上大致落在哪个位置。这张“地图”作为先验知识，直接注入到生成过程中。