基于轻量级OpenPose改进的幻影机手势交互系统

作者：谭立行; 鲁嘉淇; 张笑楠; 刘宇红; 张荣芬^*

来源：计算机工程与应用, 2021, 57(16): 159-166.

• 人机交互
• 手势识别
• 深度学习
• 关键点检测
• 幻影模块

目前人机交互方式多以键盘鼠标为主,而基于深度学习手势识别的交互方式算法准确率不高,且实时性和系统稳定性均有待提升。提出一种新颖的针对轻量级OpenPose进行改进的幻影机手势交互系统。采用轻量级OpenPose将人手简化建模为21个关键点,以MobileNetV1作为基础模型,应用部分亲和域(Part Affinity Fields,PAF)方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性,采用幻影模块(Ghost Module)对卷积层进行降维,用更少的硬件资源取得同样的识别效果。最后搭建验证环境,根据画出的人手骨骼图进行模式匹配,根据匹配识别结果生成交互控制指令,经由蓝牙通讯将指令传送至Arduino UNO平台控制小车实现交互响应。经过初步训练后,该系统在COCO2017验证集上能实现58.7%的准确率,保持了原始OpenPose网络和轻量OpenPose网络的人手关键点识别效果,在家用PC机上可实现每秒32～36帧的识别速率和较高的手势识别率。

• 单位
  贵州大学