本发明公开了一种复合时空特征的双模态视频情感识别方法,包括如下步骤:1对现有体积局部二值模式算法扩展成时空三值模式,获取人脸表情和上身姿态的时空局部三值模式矩纹理特征;2为弥补纹理特征缺乏图像边缘和方向信息的表达,本发明进一步融合三维梯度方向直方图特征来增强对情感视频的描述,将两种特征组合成复合时空特征;3使用D-S证据联合规则将两种模态的信息进行融合,获得情感识别结果。本发明利用复合时空特征对情感视频进行充分描述,降低时间复杂度,提高情感识别的准确率。