基于多模态融合的图神经网络推荐算法研究

作者：吴志强; 解庆^*; 李琳; 刘永坚

来源：计算机工程, 2023, 1-11.

DOI：10.19678/j.issn.1000-3428.0066929

• 多模态推荐
• 多模态融合
• 注意力机制
• 图神经网络
• 推荐系统
• 门控图神经网络

已有的GNN推荐算法大多利用用户-项目交互图的节点编号信息进行训练，学习用户-项目节点的高阶联系去丰富节点表示。但是忽略了用户对不同模态信息的偏好，没有利用项目的图片、文本等模态信息，或对于不同模态特征的融合简单相加，没有区分用户对不同模态信息的偏好。针对这一情况，提出多模态融合的GNN推荐模型。首先针对单个模态，结合用户-项目交互二部图构建单模态图网络，在单模态图中学习用户对此模态信息的偏好；利用GAT聚合邻居信息，丰富本节点表示；同时利用GRU决定是否聚合邻居信息，达到去噪效果；最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示，然后送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明，多模态信息、注意力融合机制能有效提升推荐的准确度，算法模型在Precision@K、Recall@K和NDCG@K三个指标上相较于基线最优算法均有显著提升。评估指标K值选取10时，其指标Precision@10在两个数据集上分别提升4.67%、2.42%，Recall@10在两个数据集上分别提升2.03%、2.49%，NDCG@10在两个数据集上分别提升5.24%、2.05%。

• 单位
  武汉理工大学