基于深度学习的Spark电影推荐系统设计

作者：关凯轩; 禹素萍

来源：科学技术创新, 2021, (32): 131-135.

• Spark TensorFlow
• DIN
• 电影推荐系统

传统的推荐算法,如协同过滤等只能进行输入特征之间的简单组合,不能很好的挖掘特征之间的隐含信息,表达能力不强,很难为用户提供个性化推荐,近些年来深度学习在推荐系统领域的应用取得了很好的推荐效果。本文主要采用DIN深度学习模型作为排序层算法,采用Embedding技术作为快速召回算法,并利用TensorFlow Server建立模型服务;采用HDFS,Spark,Kafka,Flink等大数据存储,传输,计算框架完成特征的存储、离线计算与实时计算,通过对用户历史行为以及实时特征的采集处理,结合推荐算法完成对用户的离线推荐与实时推荐,生成用户感兴趣的Top-N电影列表,通过SSM框架实现完整的推荐系统前后端搭建。该系统保证了运行时的稳定性,推荐实时性,并在一定程度上提升了推荐效果。