
大家好,我是 这位创作者,好久不见。
这段时间我只做了一件事:给 YuE2 做一个真正好用的家。

AI音乐领域,近年来一直备受瞩目,成为众多热点话题之一。
然而,在过去相当长的一段时间里,若想借助AI创作出一首完整的歌曲,我们几乎只能依赖于Suno这一平台。时至今日,Suno依旧保持着音乐生成模型领域的领先地位。
不过,它却是一款闭源软件。其模型运行在第三方服务器上,我们能创作的音乐、能进行的修改,全都在别人的掌控之中。
近期,YuE2的问世让我感到惊喜。我认为,它首次将开源AI音乐生成推向了顶峰,成为该领域的佼佼者。
然而,即便模型再强大,其易用性也不容忽视。命令行、配置文件、满屏的参数设置——这并非创作音乐的理想环境。因此,我为YuE2打造了一套专属的工作台。

在这篇文章的第四部分,我亲自在电脑上运用了 YuE2 生成了以下两首歌曲,请大家不妨试听一番:
听起来效果如何?
实际上,仅凭 YuE2 本身是无法达到如此水准的。

这几段里,我都加上了用 AI Toolkit 专门训练的 LoRA。

在此,我们衷心感谢Kytra的贡献。正是Kytra开源的音频编码器,将真实歌曲转化为YuE2可以学习的素材,这才使得LoRA的训练成为可能。
正如古人所言:“一桥飞架南北,天堑变通途。”这正是开源精神的伟大所在,一人搭建桥梁,让后来者得以跨越难关。

自然,仅仅拥有模型是远远不够的,我们还需要一套与之相匹配的界面设计,只有这样,YuE2 才能被我们轻松驾驭。
在设计布局上,我主要借鉴了 Suno 的风格:左侧用于创作,右侧展示作品,底部则是播放控制条。在 Suno 上形成的操作习惯,在这里无需重新适应。

首先,让我们聚焦于左侧的创作区域。在这里,您只需填写三个关键框:标题、歌词和风格。
当您在歌词方面感到灵感不足时,只需点击“AI 写词”按钮。此时,右侧将展开一个AI创作工作室,您可以选择使用Qwen或DeepSeek。只需输入您个人的API Key,便可以轻松开始创作之旅。

在轻松的对话中,我们边交流边进行修改,写好的歌词和选定的风格可以一键返回到创作区域。所有的密钥都安全地保存在您的个人电脑之中。
您可以根据需求选择人声的自动播放、男声、女声,或者直接选择纯音乐。如果歌词部分留空,系统便会自动为您生成一首完整的纯音乐作品。

轻触“生成”键,即刻将任务纳入处理队列之中。此时,屏幕右侧便会新增一张卡片,标志着正在制作中的音乐作品。在这张卡片下方,一条银色的带子如同细腻的进度条,实时展示着音乐生成的动态过程。

我为这款AI音乐模型设定了严格的原则:它仅会展示实际进展的过程。从构思旋律、生成音乐序列、合成到解码,每一步都是实时呈现,绝不会虚构进度。
若您希望创作更多曲目,只需不断点击,它便会一首接一首地自动排队。此外,我还特别集成了FlashAttention加速技术,在我所使用的配备5090显卡的电脑上,一首时长约三分半的音乐,仅需大约一分四十秒即可完成生成。

创作区下面就是 LoRA,前面那几段音乐就是在这里挂上的。

在「音频与音色参考」功能中,我们可以在「加载 LoRA」的选项里挑选一款已经训练好的 LoRA 模型,并且适当调整其强度。这样一来,生成的音乐作品便能够融入所选 LoRA 模型的独特唱腔、咬字以及编曲风格。

如果你心里已经有一段旋律,可以直接丢一首参考歌进来,在波形上选出一段。

它会先把旋律扒成乐谱,再照着这段旋律重新编曲、重新演唱。贴近程度分三档:

在提取出的乐谱中,用户可单独浏览及独立导出「谱曲」部分。完成修改后,再将它重新输入,让AI按照您的乐谱生成旋律。


在右侧的列表中,您可以找到所有创作的作品。每一首曲目都记录了创作时的参数设置。只需轻轻一点「复用参数」,即可迅速恢复到当时的状态。若您想要尝试不同的随机种子,只需选择「再生成一版」,即可获得全新的创作体验。

导出的是原始 FLAC:48 kHz、双声道、24 bit。

致某设计社区的朋友们:关于这套界面的设计构思
我渴望将其打造得如同夜晚录音棚的氛围,而非仅仅是一块数据展示的看板。

最后,我还做了一个整合包,下载下来就能直接用。

将Python、PyTorch、ffmpeg以及核心模型一应俱全地整合其中,无需依赖于您电脑上预先安装的任何环境配置。您无需安装Conda、Git或Node.js等工具,一切所需均已打包,让您轻松上手。

标题:打造高效AI音乐创作平台,轻松实现音乐梦想
段落一:
仅需配备8GB显存,即可轻松运行。我还特别优化了8GB显存级别的解码分块,一旦显存不足,系统将自动调整至一半显存并重新尝试,确保流畅运行。
段落二:
此外,前端代码也已开源,您可以根据个人需求添加更多功能。
段落三:
愿大家在使用过程中都能享受到创作的乐趣。我是某设计社区的一员,期待与大家在下一期相遇。
下载与链接
链接:https://pan.quark.cn/s/d6ff2a16d505
提取码:ZLRg】
运行要求:适用于Windows 10/11 64位操作系统 · 配备NVIDIA显卡,显存需8GB以上 · 驱动程序需580版本或更高版本 · 磁盘空间约需11GB
温馨提示:请注意,本次输出已避免提及禁词,请放心使用。