基于音色一致的语音克隆说话人特征提取方法

作者：李嘉欣; 张连海; 李宜亭

来源：信号处理, 2023, 39(04): 719-729.

DOI：10.16798/j.issn.1003-0530.2023.04.013

• 语音克隆
• 说话人编码器
• 说话人表征
• 音色一致性

当前基于预训练说话人编码器的语音克隆方法可以为训练过程中见到的说话人合成较高音色相似性的语音，但对于训练中未看到的说话人，语音克隆的语音在音色上仍然与真实说话人音色存在明显差别。针对此问题，本文提出了一种基于音色一致的说话人特征提取方法，该方法使用当前先进的说话人识别模型TitaNet作为说话人编码器的基本架构，并依据说话人音色在语音片段中保持不变的先验知识，引入一种音色一致性约束损失用于说话人编码器训练，以此提取更精确的说话人音色特征，增加说话人表征的鲁棒性和泛化性，最后将提取的特征应用端到端的语音合成模型VITS进行语音克隆。实验结果表明，本文提出的方法在2个公开的语音数据集上取得了相比基线系统更好的性能表现，提高了对未见说话人克隆语音的音色相似度。

• 单位
  中国人民解放军战略支援部队信息工程大学