Music-JEPA通过动作条件从钢琴声音学习世界模型

RT @iScienceLuvr: Music-JEPA: 从动作中学习声音的世界模型

“我们提出通过将音乐构建为动作条件系统，使用JEPA学习钢琴声音的世界模型：音频被视为状态，pianoroll被视为乐器动作。”

“实验表明，学习到的模型捕捉了音乐动作与其产生声音之间的关系。得到的表示支持下游任务，包括节拍跟踪、作曲家识别和调性估计，并通过规划实现钢琴转录，即搜索最能解释目标声音的动作。”