海量日志采集可视化平台设计

作者：贾继洋; 徐涛; 潘文文; 李旭宏

来源：福建电脑, 2021, 37(12): 117-120.

DOI：10.16707/j.cnki.fjpc.2021.12.027

• 海量数据
• ELK
• 日志收集
• FileBeat
• Kafka

海量数据应用场景下,传统的ELK架构因LogStash占用资源过多等问题,会出现性能瓶颈。本文提出的海量日志采集可视化平台对传统的ELK架构进行了优化,使用FileBeat替换LogStash用于采集业务数据,利用Kafka集群作为消息缓冲队列。改进后的ELK架构通过集群方式部署,大大降低了系统资源的占用,提高了数据传输的可靠性,适合大型集群和海量数据业务场景。

• 单位
  枣庄学院; 南京信息工程大学滨江学院