语音合成（TTS）技术在有道词典笔中的应用实践

自 2017 年 10 月推出有道翻译蛋开始，网易有道已先后推出了二十余款智能学习硬件产品，包括有道翻译王、有道口袋打印机、有道超级词典、有道词典笔、有道听力宝等。

其中，有道词典笔开创了智能词典笔品类，连续两年获天猫、京东销量第一，并广受用户好评。

在近期有道词典笔的全新软件升级中（关联阅读：全新软件升级！真的很有料），有两个重要的优化，分别是：

>>>应用效果：

首先，我们进一步升级了发音系统，使中英发音尽可能接近真人。

为了给用户带来更好的体验，有道 AI 团队选取了多种真人发音素材，从来自公司内部、真实用户和 native speakers 等人群中选取足够大的样本发放调查问卷，从发音准确度、音色喜爱度等方面进行打分，并和专业的发音进行比较，最终选取了目前版本中的音色。

这些能力的背后，是有道 TTS 语音合成技术的加持。本文将会详细介绍有道 TTS 技术的相关思考和实践。

有道 TTS 语音合成技术建模流程包括文本分析模块、声学模型模块和声码器模块。

文本分析前端的主要作用是将语句转换为语言学特征，主要是音素序列和韵律特征, 其中音素序列决定 TTS 是否正确读对了文本；韵律特征决定 TTS 的停顿位置、自然度等，这也是有道 TTS 技术能够实现接近真人发音和正确朗读多音词的关键所在。

传统的文本分析模块会单独建模每个任务，并且串行处理效率较低，这种做法在嵌入式场景中难以实现性能和质量的平衡，多个任务分离也会提高系统的维护成本。

相比于传统方案，有道 AI 团队基于 BERT 预训练模型进行了多任务建模，将多个任务进行统一建模，大大提高了效率。

这些优化能够支持 TTS 前端的文本正则化、多音字判别、韵律预测等任务，使有道系统能够在设备端合成低发音错误、韵律自然和感情丰富的高质量语音。

有道词典笔场景 TTS 前端也面临一些挑战：

基于这些问题，我们主要做了以下几个方面的工作，分别是资源收集、模型实验、系统集成：

通过这些方面的工作，最终推出了基于预训练模型的多任务架构 TTS 中英混前端，保证了 TTS 合成的发音正确性和韵律停顿。

一是自回归声学模型：比如 Tacotron、Tacotron2，优点是高自然度，缺点是性能较差；基于 attention 的自回归声学模型难以建模长语音，更容易出现丢字、重复的现象。

二是非自回归声学模型：比如Fastspeech、Fastspeech2，优点是并行生成声学特征，性能好，对长句建模足够鲁棒；缺点是韵律建模略差于自回归声学模型。

综合质量和性能，有道 AI 团队最终选择了基于 VAE 的非自回归声学模型。原因在于它有以下优势：

另外，还对模型进行了量化，降低了模型的内存。

在有道智能硬件产品实际落地开发中，声码器技术的研发面临着几大难点问题：

一是音质问题。声码器模型的建模能力不足，会直接导致合成语音产生底噪或者电音。但如果仅仅只是单纯地加大模型的参数，则会影响系统的推理速度。

二是性能问题。声码器的计算量在语音合成的整个框架中占比较大。要在嵌入式场景中合成高质量的语音，需要一个足够大、建模能力足够强的声码器模型。

但由于设备芯片的算力弱、内存小，大的声码器会导致体验延时明显上升。从用户的角度出发，延时过长，用户等待时间过久，自然不会有好的体验效果。

为了解决以上难题，通过大量实验和综合比对，最终有道 AI 团队选择了基于 GAN 方案的声码器。

任何学术上的方案要实现成工业界的产品，都需要进行大量的实验和打磨。

首先是针对不同场景使用不同的模型配置，有道 AI 团队对 GAN 声码器中的生成器模块进行了参数的细致调整，让它能够成功应用在嵌入式场景下，不同于传统参数声码器的机械感与模糊感，基于 GAN 的神经网络声码器可以合成高自然度、高清晰度的音频，缩短了离线 TTS 和在线 TTS 质量上的差距。

此外，我们还在模型的量化、压缩方面做了大量的工作，大大提升了语音合成的速度，明显降低了系统的资源占用。

在智能硬件产品人机交互中，语音合成技术扮演着非常重要的角色，但在落地中面临着很多挑战，其核心是硬件计算资源与合成语音质量之间的矛盾。

如何更快地、更稳定地在有限资源下提供高质量的语音合成技术是有道 AI 团队的目标和关注的重点。

目前，有道 TTS 语音合成技术已应用在许多内部和外部的在线场景和嵌入式场景，并表现出了相对传统方案更加稳定、更加鲁棒的合成效果。

- END -