一种基于多模态识别的自学习情感交互方法

作者：潘粤成; 刘卓; 潘文豪; 邓晓燕; 蔡典仑

来源：2020-09-16, 中国, ZL202010973218.0.

本发明公开了一种基于多模态识别的自学习情感交互方法,步骤如下：非接触式通道分别采集语音、人脸和手势信号；对信号进行特征提取,得到信号初步特征；特征输入到双向LSTM层,得到单模态私有信息和多模态交互信息,根据这些信息得到融合特征；基于分类学习算法,结合多模态融合特征和历史情绪状态曲线预测用户情绪,选择交互模式；在交互模式下,根据对话记忆网络给出交互应答；最后,根据交互效果对情绪状态曲线和对话记忆网络进行反馈和优化。本发明允许操作者通过非接触式人机交互接口多通道输入信息,对多模态的融合特征综合考虑,结合情绪历史状态和对话记忆网络,完成交互任务。

• 单位
  华南理工大学