科研之友
微信
新浪微博
Facebook
分享链接
摘要
人脸物理对抗样本攻击(Facial Physical Adversarial Attack, FPAA)指攻击者通过粘贴或佩戴物理对抗样本，如打印的眼镜、纸片等，在摄像头下被识别成特定目标的人脸，或者让人脸识别系统无法识别的攻击方式。已有FPAA的性能评测会受到多种环境因素的影响，且需要多个人工操作的环节，导致性能评测效率非常低下。为了减少人脸物理对抗样本性能评测方面的工作量，结合数字图片和环境因素之间的多模态性，提出了多模态特征融合预测算法(Multimodal Feature Fusion Prediction Algorithm, MFFP)。具体地，使用不同的网络提取攻击者人脸图片、受害者人脸图片和人脸数字对抗样本图片的特征，使用环境特征网络来提取环境因素中的特征，然后使用一个多模态特征融合网络对这些特征进行融合，多模态特征融合网络的输出即为所预测的人脸物理对抗样本图片和受害者图片之间的余弦相似度。MFFP算法在未知环境、未知FPAA算法的实验场景下取得了0.003的回归均方误差，其性能优于对比算法，验证了MFFP算法对FPAA性能预测的准确性，可以对FPAA性能进行快速评估，同时大幅降低人工操作的工作量。
-
单位华中科技大学; 中国工商银行
