利用手持彩色和深度摄像头(Kinect)作为图像采集设备,在KinectFusion算法的基础上进行了扩展,实现了一个人与虚拟屏幕直接触碰交互的增强现实系统.本文提出一种腐蚀膨胀的方法提取场景中的运动物体,借助深度图采用分层渲染的方法实现虚实物体互遮挡效果,最后采用一种体素碰撞检测的方法解决人与屏幕的碰撞检测问题.系统的实现过程中采取GPU并行处理,显著提高了算法速度.