融合多模态生成和情景训练的环境无关手势识别

作者：程宇; 周瑞; 张子若; 罗悦; 张宏旺; 王佳昊

来源：小型微型计算机系统, 2023, 1-6.

• WiFi感知
• 手势识别
• 环境无关
• 虚拟样本生成
• 情景训练

无线通信和感知技术的发展促进了WiFi感知的产生与发展.依据人体及其行为对WiFi信号传播的影响，通过模式匹配可以实现基于WiFi的手势识别、活动识别、定位等感知任务.但是WiFi信号对环境具有较大依赖性，目标人员或周围环境的变化会导致已经建立的感知模型失效.为了解决这个问题，现有方案通常采用半监督或无监督域适应方法.但在实际应用中，无法预先获得新环境中的数据.因此，需要一种无需新环境数据，即可自动泛化到新环境的方法.为了实现这个目标，本文提出一种基于多模态样本生成和情景训练的环境无关手势识别方法.该方法采用若干源域的数据建立手势识别模型，能够在目标域没有任何数据的情况下，泛化到目标域中.实验结果表明，该方法在目标域无数据的情况下，对新用户和新环境的手势识别正确率均超过80%，高于业界现有水平.

• 单位
  电子科技大学