针对基于常规特征提取的交互行为识别算法在大样本数据集上难以提取有效特征、浅层卷积神经网络(CNN)分类错误率较高等问题,研究一种基于HSV颜色空间图像增强和深层CNN的改进算法。首先提取视频数据的RGB帧,扩充数据集,在HSV颜色空间下图像增强,然后微调CNN模型的最后一个全连接层和soft-max层,最后将增强后的图像输入到VGG16网络模型中进行学习和识别分类。在BIT-Interaction数据集上做交互行为识别实验,结果验证了所探讨算法在交互行为识别上的有效性。