研究仿真驾驶中的手势识别及自动交互,利用Kinect空间编码技术提取人体运动关节信息,采用DTW与深度学习相结合的方法进行手势识别。提出了一种加权的DTW算法,对提取的骨架信息进行分析,实现对连续手势实时的粗粒度识别;对手部信息,通过关节点计算提取ROI,利用7层CNN网络对ROI信息进行特征提取并得到手部行为的细粒度识别。利用Unity3D对驾驶场景进行仿真,虚拟环境与用户手势实时交互,实验结果真实有效。