针对深度学习领域内通过少量样本难以实现视觉识别的小样本学习问题,提出一种新的语义匹配网络。利用双注意力机制匹配图像的语义信息,并在多尺度分类网络下匹配图像的相似度,提升同类别样本之间的语义相关性,从而获得更加准确的样本类别。实验结果表明,与Siamese Net、Matching Net等网络相比,该语义匹配网络可有效提取样本间的语义信息,提升小样本分类准确率。