基于Spark Streaming的实时日志处理平台设计与实现

作者：薛瑞; 朱晓民

来源：电信工程技术与标准化, 2015, 28(09): 55-58.

DOI：10.13992/j.cnki.tetas.2015.09.014

• Hadoop
• Spark Streaming
• 实时日志处理系统

本文基于Hadoop Yarn平台,通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等,很好地解决了目前存在的问题,并使用HBase(Hadoop No SQL Database)作为数据库存储,更好地适应日志数据规模的增长。

• 单位
  网络与交换技术国家重点实验室; 北京邮电大学