多模态余弦相似孪生网络人脸跟踪算法

作者：吴凤娇; 刘宽; 候红涛; 孙收余; 赵凯; 罗子江^*

来源：现代计算机(专业版), 2022, 28(06): 32-47.

• 人脸跟踪
• 孪生网络
• 余弦相似
• 多模态人脸跟踪

为解决人脸跟踪算法光照敏感度高、复杂背景跟踪鲁棒性低等问题，本文基于SiamFC网络提出多模态余弦相似孪生网络人脸跟踪算法。首先，结合可见光图片与红外光图片信息互补的优势，设计多模态输入，借鉴PeleeNet网络、空洞卷积、可分离卷积思想设计轻量化特征提取模块进行特征提取。其次，使用余弦相似操作代替互相关操作，增大相似背景非相似域的距离，提升跟踪定位的准确度。最后，在公共数据集ChokePoin、RGBT234和自制数据集上进行该算法的性能评估。实验结果表明，该算法在跟踪效果上整体性能较高、跟踪速度流畅，推理速度为115.7 fps，能很好地应对遮挡、光线干扰、运动模糊等因素影响，具有较强的实时性和鲁棒性。

• 单位
  贵州财经大学