本发明提供了一种基于时间注意力机制和LSTM的人体行为识别方法,包括步骤:1)获取RGB单目视觉传感器的视频数据;2)提取2D骨架关节点数据;3)提取关节点联合结构特征;4)构建LSTM长短期记忆网络;5)在LSTM网络中加入时间注意力机制;6)利用softmax分类器进行人体行为识别。本发明能提高基于视觉的行为识别系统的普适性、实时性以及对复杂动作识别的准确率。