基于深度学习特征融合和联合约束的单通道语音分离方法

作者：孙林慧^*; 王灿; 梁文清; 李平安

来源：电子与信息学报, 2022, 44(09): 3266-3276.

• 语音分离
• 联合约束
• 特征融合
• 损失函数
• 卷积神经网络

为了提高单通道语音分离性能，该文提出基于深度学习特征融合和联合约束的单通道语音分离方法。传统基于深度学习的分离算法的损失函数只考虑了预测值和真实值的误差，这使得分离后的语音与纯净语音之间误差较大。该文提出一种新的联合约束损失函数，该损失函数不仅约束了理想比值掩蔽的预测值和真实值的误差，还惩罚了相应幅度谱的误差。另外，为了充分利用多种特征的互补性，提出一种含特征融合层的卷积神经网络(CNN)结构。利用该CNN提取多通道输入特征的深度特征，并在融合层中将深度特征与声学特征融合用来训练分离模型。由于融合构成的特征含有丰富的语音信息，具有强的语音信号表征能力，使得分离模型预测的掩蔽更加准确。实验结果表明，从信号失真比(SDR)、主观语音质量评估(PESQ)和短时客观可懂度(STOI)3个方面评价，相比其他优秀的基于深度学习的语音分离方法，该方法能够更有效地分离目标语音。

• 单位
  南京邮电大学; 通信与信息工程学院