科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对大数据环境下画像系统的实时性和准确性问题，提出一种基于Structured Streaming的实时画像系统设计与实现。利用canal组件对用户行为日志系统实现增量订阅，kafka消息中间件完成实时数据流接入，应用Structured Streaming实时计算框架对用户的实时数据进行分析处理，刻画用户的实时兴趣。通过改进的TF-IDF算法改善文本画像系统的准确性与可靠性，并借助Structured Streaming与静态数据良好的交互性减轻实时计算压力，提高系统响应速度。
-
单位上海大学; 通信与信息工程学院
