一种基于行为上下文的视频情感识别方法

作者：刘晓东; 王淼; 李松阳

来源：微电子学与计算机, 2019, 36(05): 43-46.

DOI：10.19304/j.cnki.issn1000-7180.2019.05.010

• 情感识别
• 深度学习
• 卷积神经网络

视频中的场景与对象等含有丰富的情感线索,传统的视频情感识别方法主要关注视频中人体行为,往往忽略了场景和对象等上下文线索.本文提出一种基于行为上下文的视频情感识别方法.该方法首先基于卷积神经网络提取视频场景、对象、行为等多个模态特征;然后根据各个模态特征信息确定各模态视频帧情感分数;在此基础上基于金字塔架构,建立多模态特征信息融合模型,对视频情感进行识别.我们基于caffe框架实现了该方法,实验结果表明该方法在性能上优于已有方法.

• 单位
  河南工程学院