基于多模态特征融合的多任务学习推荐

作者：方宝; 王亮

来源：物联网技术, 2023, 13(11): 78-80.

DOI：10.16667/j.issn.2095-1302.2023.11.021

• 知识图谱
• 多模态
• FLFM
• 多任务学习
• 推荐系统
• CNN

知识图谱包含着丰富的语义知识，其中节点表示实体或者概念，边表示属性或者关系。然而传统的基于知识图谱推荐方法只从结构化三元组学习知识表示，忽略了项目本身的图像和文本等多模态信息，本文基于MKR深度学习推荐模型，使用有价值的外部知识作为多模态信息，并利用FLFM模型，将知识图谱中的文本特征信息和图像特征信息相结合；然后采用多任务学习模型（MKR模型），让推荐模块和知识图谱模块共同学习；最后结合在一起预测推荐评分。本文创新性地通过知识图谱中融合项目的多模态信息特征进行推荐。实验结果表示，采用本文提出的FLFM-MKR模型进行推荐比传统的MKR模型具有更好的性能。

• 单位
  沈阳化工大学