分布式web日志处理平台的研究与实现

作者：杨潇黎; 蒋廷耀; 金鑫; 罗神

来源：信息通信, 2019, (03): 146-148.

• 分布式
• 离线与实时清洗
• FP-Growth算法
• Kafka
• Spark框架

从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。