HAM:一种融入文本信息的深度协同排序方法（英文）

作者：王铖微; 周腾飞; 谌晨; 胡天磊; 陈刚^*

来源：Frontiers of Information Technology & Electronic Engineering, 2020, 21(08): 1206-1217.

• 深度学习
• 推荐系统
• 高速公路网络
• 块坐标梯度下降

基于文本语料库的推荐任务旨在通过挖掘用户反馈数据以及物品文本描述数据对用户偏好建模。当前研究人员亟需探索使用深度神经网络捕获复杂的非线性偏好。然而,训练网络结构更深的推荐器并不能通过简单添加网络层数实现。一个网络结构更深的推荐器会面临梯度消失/爆炸问题,导致其无法通过基于梯度的方法进行模型训练。此外,物品文字描述数据可能包含嘈杂的单词序列;直接从这类特征向量中提取特征可能会影响推荐器性能。为解决上述问题,本文提出一种新的基于极深神经网络的排序推荐方法:高速网络推荐器(HighwAyrecoMmender,HAM)。首先基于高速公路网络设计一个全新神经网络推荐框架,该框架能有效地稳定深度推荐器的梯度流。其次,使用一种多头注意力编码器,自动对文本信息降噪。最后,提出一种全新的基于块坐标下降的方法,可更加有效地训练具有更深网络结构的推荐器。实验结果表明,与当前先进方法相比,HAM具有更好推荐性能。

• 单位
  计算机辅助设计与图形学国家重点实验室; 浙江大学