12月4日，Meta公司推出了一款名为Audiobox的AI声音生成模型。这款模型能够同时接收语音和文字输入，并且用户可以同时使用语音和文字描述来让Audiobox生成所需的音频。
据说，Audiobox能够生成各种环境音和自然对话语音，并整合了音频生成和编辑能力，以便用户自由地生成自己所需的音频。据Meta介绍，高品质的音频需要大量的音频库以及深厚的领域知识，但这些资源通常难以获取到，因此他们希望通过降低声音生成门槛的方式来让更多人更容易制作视频、游戏等场景中的音效。
Audiobox基于Voicebox的“引导声音”机制来进行声音生成，并配合“流量比对（flow-matching）”扩散模型来实现“声音填充（audio infilling）”功能，从而生成多层次的高质量声音效果。在测试中，Meta成功地生成了带有雷暴声下雨效果的声音，并输入了一系列提示句子进行演示，例如：“流水声伴随鸟鸣”、“以高音调快节奏说话的年轻女性”等。同时，在实验过程中也成功地将人声与文字提示相结合，创造出了带有情绪并拥有背景音（置身于教堂之中）的语音效果。
根据Meta公司的测试结果，Audiobox在音质和生成内容准确性方面均表现出色，超过了现有最佳音频生成模型AudioLDM2、VoiceLDM以及TANGO。目前，Audiobox已经向特定研究人员和学术界开放试用，并计划在未来几周内向社会公开该模型。
本文属于原创文章，如若转载，请注明来源：Meta推AudioboxAI声音生成模型：已开放试用https://news.zol.com.cn/845/8450299.html
