只需 1 分钟，这个网站用 AI 分离歌曲的人声、伴奏和乐器声

news/2024/5/10 18:56:50/文章来源:https://csdnnews.blog.csdn.net/article/details/104284411

整理 | Just

出品 | AI科技大本营（ID:rgznai100）

疫情期间，在家待着闲来无事，一些技术人员就喜欢以技术的方式找点乐子，顺带赚钱最好了。

将歌曲中的人声和乐器声分离是一件让想使用音乐伴奏的人头疼的事情，传统的音乐制作软件使用门槛较高，处理起来不光费时而且效果不一定好。

团子DanGo.ai（https://dango.ai/）——微博网友@无吔学生近期利用AI技术做的这个能分离音频轨道的网站火了。

在音乐分离这一领域，实际上已经有一些免费的AI工具。比如，由法国音乐流媒体服务公司Deezer为研究目的而开发的Spleeter开源工具，只需要提供一个音频文件，然后Spleeter就会将它分成两个、四个或五个独立的音轨，非常有用。

团子DanGo.ai就是基于Spleeter开源工具做的。利用AI技术并通过上千首歌曲数据的训练，用户只需要上传歌曲，等待1分钟，目前就可以提取歌曲中的伴奏、人声、钢琴、贝斯、鼓点等多音轨压缩文件，效果要好于Au或者GoldWave之类的传统音频处理软件。

@无吔学生表示，这是他秃了一个月头的成果。

据网站作者介绍。团子主要由基于MIT协议的开源项目Spleeter制作的，同时在其之上增加了一些功能魔改使效率与音质得到提升。团子基于深度神经网络（DNN）实现的音轨分离所诞生的人工智能，它使用Python/Tensorflow开发。

那么，团子 DanGo.ai 与传统的音乐分离软件有什么不同？

一般而言，传统音乐分离软件所谓的“消音”一般是简单的带阻滤波，用人话说就是把人声所在的频率直接暴力擦除，这就会导致消音后的歌曲变得特别“糊”——表现为鼓点、某些乐器的消失。作者解释，这是因为人声会和某些相同频率的乐器重叠，单纯的抠除这个频率，不光会消除人声，也会消除在这个频率里的乐器。而根据歌曲的不同，人声/和声所在的频率也并非固定，这就导致提取出的伴奏不但效果糟糕，而且仍然带着部分残余的人声。

“当然，也有一些人发现，歌曲中的人声录音一般是单声道的，而歌曲的乐器未必是这样。于是人们也尝试使用左右声道“相减”（如Au中的中置声道提取器）来提取伴奏或人声。但是提取的效果基本仍然很差，因为无法保证乐器不是多声道的，也无法保证人声是否被混音师加了后期处理效果器而变成多声道，所以它并不适合多数歌曲（尤其是现代音乐）。”