港中文发布SongComposer，音乐创作大模型，让大模型进行歌词和旋律创作

相关工作

SongCompose-PT数据集

• 数据爬取：从网络上爬取大量的mp3文件和对应的歌词文件，包括句子级别的时间戳。
• 歌词清洗：使用GPT-4清除歌词文本中的无关细节，如歌曲标题、艺术家姓名和制作信息。
• 分段切割：为了减少长时间对齐的挑战和错误累积，根据歌词文件中提供的时间戳，将音频和歌词切割成大约10秒钟的配对段落（大约三个句子）。
• 音乐源分离：我们使用UVR 4，一个公开的音乐分离工具，将原始音频中的人声与伴奏部分分离。
• 唱声转录：使用数字音频工作站软件FL Studio 5，通过唱声wav输入自动生成初步的乐谱，捕捉每个音符的音高和起止时间。
• 单词边界注释：我们通过Pypinyin 6将歌词转换为音素序列，然后使用音频对齐工具Montreal Forced Aligner 7获取歌词中每个单词的边界。
• 单词级对齐：使用动态时间规整（DTW）算法根据起止时间对单词和音符进行对齐。 最后，我们开发了一个包含15K个配对的歌词旋律条目的数据集，其中大约有5K个是中文，10K个是英文。

SongCompose

符号表示

元祖数据格式。为了解决歌词和旋律不匹配的问题，提出了一种基于元组的输入格式，每个元组代表一个离散的音乐单元，可以是歌词、旋律或歌词-旋律对。

离散持续时间。为了更有效地处理旋律的持续时间信息，采用对数编码方案将持续时间分为预定义数量的区间，将连续的持续时间范围转换为一组离散值。

扩展词汇表。扩展了模型的词汇表，引入了辅助标记来表示离散时间单位和音符值。对于时间离散化，扩展了512个唯一标记，每个标记代表一个特定的时间区间。对于音乐音符的表示，标记了10个八度的12个音高类，增加了120个不同的音乐标记。

实验

客观评价指标

音乐生成的评估采用了SongMASS提出的Pitch Distribution Similarity、Duration Distribution Similarity和Melody Distance三个指标，并进行了后处理以保证比较的一致性。歌词生成的评估采用了CoSENT模型的Cosine Sentence、ROUGE-2和BERT score三个指标。其中，ROUGE-2关注生成文本和原始文本之间的bigram重叠，BERT score则利用BERT模型的上下文嵌入来衡量文本相似度。

主观评价指标

通过用户研究，使用1-5分的评分标准，评估了四个任务的生成结果质量。这四个任务分别是：歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲生成。每个任务有两个评估指标，一个评估整体音乐质量，另一个评估特定任务的挑战。

结果

SongComposer是一种新型的音乐生成模型，它能够将歌词转化为旋律，或者将旋律转化为歌词。与其他现有的语言模型相比，SongComposer在音高分布相似性、持续时间分布相似性和旋律距离等方面表现更好。此外，SongComposer还能够有效地将歌词和旋律融合在一起，产生高质量的歌曲。

消融分析

使用不同组合的纯歌词和纯旋律数据集对模型学习的影响。实验结果表明，省略这两种数据集会显著降低性能，说明基础旋律和歌词知识在训练早期的重要性。单独使用任一数据集都能提高任务性能，其中纯歌词数据集主要提高旋律到歌词任务的性能，而纯旋律数据集则更有助于旋律生成。同时使用两种数据集可以获得最优结果，展示了结合歌词和旋律数据进行预训练的协同效应，有助于更全面的学习成果。

在SongComposer中使用专门的音乐知识令牌对模型性能的影响。通过对不同的令牌化组合进行实验，发现离散化的持续时间令牌对于把握旋律结构非常重要，而音符令牌的采用则显著提高了模型在旋律-歌词任务中的表现。同时，特殊的令牌化可以进一步提高模型的清晰度和优化学习过程。