基于图卷积网络的多标签食品原材料识别

作者：李辉; 闵巍庆; 王致岭; 彭鑫^*

来源：南京信息工程大学学报(自然科学版), 2019, 11(06): 743-750.

DOI：10.13878/j.cnki.jnuist.2019.06.013

• 多标签分类
• 食品原材料
• 食品图像
• 卷积神经网络
• 图卷积网络

当前,食品图像的营养成分识别主要还是集中在食品类别的识别以及作为多标签任务的识别.但是这两种方法并不具备很好的判别性,因为它们忽略了原材料之间的潜在关系.因此,本文在前期工作的基础上引入了原材料之间的关系.具体地说,我们的工作主要分为图像特征提取和原材料关系学习两部分.图像特征提取通过卷积神经网络提取到图像的低维特征向量.图卷积网络通过使用图数据(图的每个节点表示原材料的词嵌入,边表示节点之间的相关性),将图数据直接映射到一组相互依赖的分类器中,并与图像的低维特征向量融合,最后进行分类.通过在Food-101和VireoFood-172两个食品数据集上进行实验,并与当前最好的实验模型进行对比,发现基于图卷积的食品多标签分类方法可以有效地提高食品图像的分类性能.

• 单位
  中国科学院计算技术研究所; 湖南理工学院; 中国科学院大学