科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着业务增长，服务器端的机器数量也在不断扩张，对于集群日志进行实时的采集和分析就变得越来越复杂，业界出现了许多基于日志数据处理的平台，但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架，实现了一种分布式日志采集与分析系统，完成对服务器产生的海量日志进行数据收集、处理、查询和可视化的构建。系统分为四个部分，包括数据收集、数据处理、数据存储以及数据展示，系统中每个部分都具备横向扩展的能力，具备高可用的机制，可以根据不同的维度和条件实现近实时的高效数据查询和检索。
