图文数据的多级关系分析与挖掘方法

作者：郭瑞萍; 王海荣; 王栋

来源：北京航空航天大学学报, 2022, 1-12.

DOI：10.13700/j.bh.1001-5965.2022.0599

• 关系挖掘
• 多级关系
• 注意力机制
• 图卷积网络
• 图文数据

如何高效挖掘多模态数据间隐藏的语义关联是当前多模态知识抽取的重点任务之一，为更细粒度地挖掘图像与文本数据间关系，提出了一种多级关系分析与挖掘方法（Multilevel relationship analysis and mining of Image-Text， MRAM），引入BERT-Large（BERTL），提取文本特征构建文本连接图，利用Faster-RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图，进而完成单模态内部语义关系计算，在此基础上，使用“节点切分方法”和带多头注意力机制的图卷积网络（Graph Convolutional Networks with Multi-head Attention， GCN-MA）进行局部和全局的图文关系融合。此外，为提升关系挖掘效率，采用了基于注意力机制的连边权重剪枝策略，用以增强重要分支表示，减少冗余信息干扰。在公开的Flickr30K、MSCOCO-1K、MSCOCO-5K数据集上进行方法实验，并与SGM、CANN等11种方法进行实验结果的对比分析，该方法在Flickr30K上的平均召回率提高了0.97%和0.57%，在MSCOCO-1K上的平均召回率提高了0.93%和0.63%，在MSCOCO-5K上的平均召回率提高了0.37%和0.93%，实验结果验证了该方法的有效性。

• 单位
  北方民族大学