基于分布式平台的实时网络日志分析系统设计

作者：何长鹏

来源：江苏科技信息, 2020, 37(27): 63-66.

• 日志分析
• 网络日志
• Hadoop
• 网络安全

传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题。文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型。首先,利用Filebeat组件采集各节点日志文件,根据文件分级归档管理机制对数据过滤、修剪之后发送至Kafka;然后,Kafka根据不同主题把日志流进行分组,实现分级优化存储;最后,使用Kibana工具实现日志文件的高效搜索、可视化分析等操作。实验结果表明:采用模块化设计方案降低了系统的耦合性,文件分级优化存储可以缩短数据处理时延,Kafka服务集群可以提升日志系统高并发处理能力,满足日志实时分析性能要求。