科研之友
微信
新浪微博
Facebook
分享链接
摘要
ELK平台是目前业界使用最广泛的日志数据处理平台，但Logstash在性能上有严重短板，无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据，基于logstash系统，通过自定义的Ruby插件，实现一种高效数据处理的方法，解决了性能问题，并且可实现复杂数据处理。系统由三部分组成，分别是数据输入、数据处理和数据输出。数据输入和数据输出部分保留了Logstash丰富的插件功能以及其高可用的特点，可用不同的插件进行切换。数据处理部分使用Ruby脚本对所有数据进行定制化的数据处理,提高了Logstash的数据处理效率，在实际生产环境中，性能提升将近50%，增强了Logstash的数据处理能力，尤其是在复杂数据处理过程中，可同时产生多个事件，支持复杂的统计功能。
