为解决基于限制玻尔兹曼机的时空深度置信网络的人体行为识别算法训练过程需要大量训练数据,在小样本训练前提下识别率低的问题,提出采用滑动窗口技术增加训练数据的方法。在视频帧序列上利用部分重叠的滑动窗口进行视频块截取,获得比将视频直接分块更多数量的视频块,在较小的视频数据中获取更大的训练数据用于神经网络的训练。实验结果表明,在测试视频较少的情况下,使用滑动窗口的时空深度置信网络识别率显著高于原始算法。