基于改进FM算法和注意力机制的深度点击率预估模型

作者：李兴兵; 谢珺^*; 续欣莹; 李小飞; 赵旭栋

来源：南京理工大学学报, 2021, 45(04): 429-438.

DOI：10.14177/j.cnki.32-1397n.2021.45.04.006

• 点击率预估
• 因子分解机
• 注意力机制
• 深度神经网络
• 组合特征

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型。该模型采用改进因子分解机(Factorization machine, FM)算法,将全息简化表示(Holographic reduced representation, HRR)的压缩外积用于FM中,从而更好地学习低阶特征,帮助模型获得更好地表示。采用深度神经网络(Deep neural network, DNN)对高阶特征建模学习。引入注意力神经网络区分不同高阶特征交互的重要性来更好地学习高阶特征,从而得到一种能够同时有效学习到低阶特征和高阶特的点击率(Click-through rate, CTR)模型——基于改进FM算法和注意力机制的深度点击率预估模型(Deep click rate prediction model based on attention mechanism and improved FM algorithm, DAHFM)以提升模型的预估性能。在Criteo和MovieLens-1M数据集上大量的实验表明,DAHFM模型相比逻辑回归(Logistic regression, LR)、FM和DeepFM等模型不仅有效学习了特征信息,而且一定程度上提升了模型的性能和点击率的预估效果。

• 单位
  太原理工大学