图文决策融合的多模态电商垃圾评价检测

作者：沈学利; 赵科林^*; 李世银

来源：重庆邮电大学学报(自然科学版), 2021, 33(06): 1038-1046.

• 多模态数据
• 垃圾评价
• 图文融合
• 预训练模型

现有的电商垃圾评价检测方法大多基于对评价文本信息进行分析,难以有效检测带有图片的多模态垃圾评价,为充分利用评价的图片和文本内容,提出了基于Transformer双向编码表示(bidirectional encoder representations from transformer, BERT)和宽残差网络(wide residual networks, WRN)的图文融合决策检测方法。该方法利用评价文本对经过预训练的BERT模型进行微调训练,经过表示学习分类得到文本评价类别向量,使用宽残差网络对评价图片进行特征提取和分类并输出图片类别向量,将得到的对应评价图文类别向量共同输入启发式决策融合分类器,对多模态评价整体进行预测分类。使用真实电商评价数据集进行实验表明,相比面向评价文本的分类方法,图文融合决策检测方法对多模态评价分类的精准率提高4.44%,召回率提高2.12%,Micro-F1提高3.67%,结果证实该方法能够对多模态垃圾评价进行有效检测。

• 单位
  辽宁工程技术大学; 中国矿业大学; 中国矿业大学（北京）