注入注意力机制的深度特征融合新闻推荐模型

作者：刘羽茜; 刘玉奇; 张宗霖; 卫志华

来源：计算机应用, 2021, 1-8.

• 新闻推荐
• 自然语言处理
• 注意力机制
• 神经网络
• 时序预测

现有新闻推荐模型在挖掘新闻特征和用户特征时，往往没有考虑所浏览新闻之间的关系、时序变化以及不同新闻对用户的重要性，缺乏全面性；同时，现有模型也在新闻更细粒度的内容特征挖掘方面有欠缺。文中构建了一个能够全面而不冗余地进行用户表征、提取新闻更细粒度片段特征的新闻推荐模型——注入注意力机制的深度特征融合新闻推荐模型。该模型采用基于深度学习的方法，通过注入注意力机制的卷积神经网络对新闻文本特征矩阵进行深度提取；通过对用户已经浏览新闻添加时序预测，注入多头自注意力机制，提取用户的兴趣特征。使用真实的中文数据集与英文数据集，以收敛时间、平均值倒数秩和归一化折现累积收益为指标进行实验。与基于多头自我关注的神经网络新闻推荐等模型进行对比，该模型在中文数据集上对归一化折现累积收益的提升率为-0.22%～4.91%，对平均值倒数秩的平均提升率为-0.82%～3.48%，其中，与唯一为负提升率的模型相比，收敛时间减少7.63%；在英文数据集上提升率分别为0.18%～1.75%与0.03%～1.30%；该模型始终具有较快的收敛速度。对有无注意力机制与有无时序模块分别进行了对比实验，都得到了较高的提升率，验证了两个重要模块的有效性与科学性。

• 单位
  同济大学