科研之友
微信
新浪微博
Facebook
分享链接
摘要
人类具有很强的草图识别能力.然而,由于草图具有稀疏性和缺少细节的特点,目前的深度学习模型在草图分类任务上仍然面临挑战.目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异.提出一种端到端的手绘草图识别模型,简称双模型融合网络,它可以通过相互学习策略获取草图的纹理和形状信息.具体地,该模型由2个分支组成:一个分支能够从图像表示(即原始草图)中自动提取纹理特征,另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征.此外,提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性,这样可以保证2个分支关注相同的判别性区域.最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化.在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验,评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.
- 单位
