科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于新型跳跃连接机制的轻量化UNet语音增强方法。本方法首先对语音信号进行基于STDCT的语音特征提取,构建基于STDCT的实值UNet网络,利用STDCT隐含相位信息的特点达到降低计算复杂度的目的。其次建立基于通道交叉Transformer的新型跳跃连接机制。通过通道交叉融合模块CCFM融合来自不同编码器级别的多尺度语音特征,消除特征的语义差距；通过通道交叉注意力模块CCAM指导融合后的多尺度语音信息有效连接到解码器上,形成跳跃连接的新输出,实现语音增强效果的有效提升。最后使用逆短时离散余弦变换ISTDCT波形重建将信号转换回时域信号,重建增强后的语音信号。本发明方法只需要较少的模型参数和计算量,适合低计算资源情景下的语音增强任务。
- 单位
