谷歌新AI模型可实现语音对语音的同声传译翻译 不依赖文本表示

谷歌发布了一款名为Translatotron 3的新AI模型，该模型可以实现语音对语音的同声传译翻译，无需任何并行语音数据。2019年，谷歌推出了Translatotron S2ST系统，2021年7月推出了第二版本。研究人员称，Translatotron 2已经提供了卓越的翻译质量、语音鲁棒性和语音自然度，而Translatotron 3则是“第一个完全无监督直接语音到语音翻译的端对端模型”。传统的S2ST方法通过自动语音识别+机器翻译+文本到语音合成的级联方式来解决，但是Translatotron 3依赖一种新颖的端对端架构，直接将源语言语音映射到目标语言，而不依赖中间文本表示。此外，Translatotron 3模型还可用于创建帮助有语言障碍的人的工具，或者开发更具吸引力和有效性的个性化语言学习工具。