针对复杂的交互行为在识别过程中特征维数高、信息冗余大导致的识别率较低的问题,文章提出了基于深度图像和RGB图像特征的低秩稀疏融合算法.采用基于稀疏表示的空间金字塔模型对静态特征和动态特征进行编码融合.最后采用低秩稀疏优化方法进行行为识别,该方法在公共数据集CAD-60和MSR Action Pairs上进行实验验证,取得了理想的效果.