科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明属于认知心理学、虚拟现实技术和情感连续识别的交叉融合领域,为基于时序特征的虚拟现实视频情感识别方法和系统,包括：建立带有连续情感标签的虚拟现实场景音视频数据集；对待识别的虚拟现实场景视频进行跨范式数据预处理；对预处理后的数据进行特征提取,用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；训练单模态虚拟现实场景视频情感回归模型,并融合生成、训练多模态情感回归神经网络模型；将待识别虚拟现实场景视频输入多模态情感回归神经网络模型,输出连续情感回归结果。本发明能够基于时序、视觉、音频、生理信号多模态特征,为虚拟现实场景视频的情感评估提供新途径,高效准确地进行情感连续识别。
- 单位
