文字可生成音乐!Meta发布的AI工具AudioCraft有何不同之处?
原创
2023-08-03 02:44 星期四
财联社 牛占林
①Meta发布了一款开源人工智能(AI)工具AudioCraft(直译为音频技艺),该工具可以帮助用户根据文本提示创作音乐和音频;
②这款人工智能工具将AudioGen、EnCodec和MusicGen三种模型或技术融为一炉。

财联社8月3日讯(编辑 牛占林)美东时间周三,Meta发布了一款开源人工智能(AI)工具AudioCraft(直译为音频技艺),该工具可以帮助用户根据文本提示创作音乐和音频。

image

(来源:Meta官网)

Meta表示,这款人工智能工具将AudioGen、EnCodec和MusicGen三种模型或技术融为一炉,可用文本内容生成高质量、逼真的音频和音乐。

Meta在官网介绍称,MusicGen接受过Meta拥有的和特别授权的音乐训练,可以从文本提示生成音乐,而AudioGen接受过公共音效训练,可从文本提示生成音频,比如模拟狗叫或脚步声;再加上EnCodec编解码器的改进版本,用户可以更高效率地生成更高质量的音乐。

在6月初,Meta推出了名为MusicGen的开源人工智能模型,这是一种深度学习语言模型,可以根据文本提示生成音乐。

Meta的EnCodec是一个基于深度学习的音频编解码器,由人工智能驱动,可以在音频质量没有损失的前提下,将音频压缩到比MP3格式还要小10倍的程度。

AudioGen则是一个来自Meta和耶路撒冷希伯来大学的研究团队的人工智能模型,可以通过输入文本来生成音频,亦可以扩展现有音频。AudioGen可以区分不同的声音对象,并在声学上将它们分开。

Meta还演示了MusicGen和AudioGen工作的流程图,并表示将让这些模型开源,让研究人员和从业人员可以用自己的数据集训练适合自己的模型,并帮助推进人工智能生成音频和音乐领域的发展。

image

与其他音乐模型相比,AudioCraft系列模型能够生成长期一致的高质量音乐和音频,还简化了音频生成模型的整体设计,使得该工具简单易用。

Meta相信它的模型可以引领新一波歌曲潮流,就像合成器改变音乐一样。“我们认为MusicGen可以变成一种新型的乐器,就像最初出现的合成器一样。”

当然,Meta也承认创作复杂而又优秀的音乐还是比较困难的,因此它选择将AudioCraft开源,以使用于训练它的数据多样化。

今年早些时候,谷歌也发布了名为MusicLM的音乐生成模型,并于5月向上月向所有用户开放。除此之外,目前较为常见的音乐模型还有Riffusion、Mousai和Noise2Music等。

收藏
124.59W
我要评论
图片
欢迎您发表有价值的评论,发布广告和不和谐的评论都将会被删除,您的账号将禁止评论。
发表评论
要闻
股市
关联话题
15.07W 人关注
6.61W 人关注
关于我们|网站声明|联系方式|用户反馈|网站地图|友情链接|举报电话:021-54679377转617举报邮箱:editor@cls.cn财联社举报
财联社 ©2018-2026上海界面财联社科技股份有限公司 版权所有沪ICP备14040942号-9沪公网安备31010402006047号互联网新闻信息服务许可证:31120170007沪金信备 [2021] 2号