一种基于孪生网络的图片匹配算法

作者：严镕宇; 李伟^*; 陈玉明; 黄宏; 王文杰; 宋宇萍

来源：南京大学学报(自然科学), 2023, 59(05): 770-776.

DOI：10.13232/j.cnki.jnju.2023.05.005

• 图像匹配
• 孪生网络
• 度量学习
• 注意力机制
• 卷积神经网络

随着卷积神经网络（Convolutional Neural Networks,CNN）的不断改进，基于CNN的图片匹配成为图像处理的关键，然而，许多基于CNN的图像相似度检测算法对图像特征的表达能力较差，且曼哈顿距离或欧式距离的计算方式导致在计算损失函数时模型不一定能很好地收敛.针对此问题，提出一种基于孪生网络和注意力机制的方法（CSNET）来提升图像匹配的性能，主要步骤如下：使用将激活函数改进为Mish函数的VGG16网络作为主干网络提取图像的特征，在模型的卷积层加入注意力机制模块（Convolutional Block Attention Module,CBAM），这提高了模型的特征提取能力和鲁棒性，保证训练可以收敛.对模型输入图片对的特征向量的欧氏距离，再利用网络全连接层输出的相似度分数来度量被检图片是否相似.将提出的CSNET与其他图片匹配方法在Omniglot和SigComp2011等数据集上进行比较，实验结果表明，CSNET能有效提高图像相似度匹配的准确性.

• 单位
  厦门理工学院; 厦门大学