本发明提供的基于多模语音信息互补与门控制的情绪识别方法,属于多模态情绪识别技术领域,包括以下步骤：S1提取目标视频中的音频特征与文本特征；S2对音频特征与文本特征进行特征双向融合；S3通过可学习门控制机制调节S2中的双向融合的结果中融合表征的比例,并输出；S4对S3中可学习门控制机制的输出进行拼接,最终获得情绪类别输出。本发明将门控机制应用于交叉注意力模块,以决定是保留源模态信息还是覆盖目标模态信息,调节源模态信息和目标模态信息的比例,从而平衡了识别的准确率与模型的参数量。
科研之友
微信
新浪微博
Facebook
分享链接
