基于变换匹配层融合的双模态生物特征识别方法

作者：孙妍; 胡龙; 冯雪玲

来源：计算机工程, 2023, 49(05): 269-276.

DOI：10.19678/j.issn.1000-3428.0066497

• 生物特征
• 双模态
• 特征融合
• 步态识别
• 面部识别

自新冠疫情发生以来，戴口罩预防疾病可能会成为大众的常态化行为。若大部分面部特征被遮挡会影响人脸识别方法的精度，同时距离也会对面部识别造成一定影响。然而，步态作为一种可远距离并且难以伪装的生物特征，容易受身体遮挡、角度等外部条件变化的影响。提出一种基于变换匹配层的识别方法，以融合步态和面部特征。通过步态特征提取网络提取人体轮廓图中具有区分度的时空生物特征，以解决单模态人脸识别技术难以在远距离条件下对带口罩目标进行识别的问题，采用面部特征提取网络提取脸部的细粒度特征，以增强网络对于目标主体轮廓被遮挡的鲁棒性。在匹配层将面部特征与步态特征进行归一化后再将信息融合，以达到特征互补的效果。此外，构建相关联的全局-局部时空特征提取模块。通过局部特征提取模块提取细粒度的步态特征，并采用基于互补掩码的多尺度随机带状分割策略增强各个局部特征之间的关联关系。全局特征提取模块提取全局步态信息，与局部细粒度信息形成互补，从而提高步态特征提取网络对于遮挡、视角变化的鲁棒性。实验结果表明，该方法的识别准确率达到99.16%，相较于步态、面部特征提取网络分别提高6.56和0.45个百分点，并且在远距离且戴口罩的真实场景下识别准确率达到94.52%，分别提升1.92和5.98个百分点。

• 单位
  上海大学