多模态命名实体识别方法研究进展

作者：王海荣; 徐玺; 王彤; 荆博祥

来源：郑州大学学报(工学版), 2023, 1-12.

DOI：10.13705/j.issn.1671-6833.2024.02.001

• 多模态命名实体识别
• Transformer
• BiLSTM
• 多模态融合
• 多任务学习

为了解决多模态命名实体识别研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,提出了一系列的多模态命名实体识别方法。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,实验结果表明:多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。最后,在MNER的未来研究中,建议着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。

• 单位
  北方民族大学