基于流式处理架构的日志采集系统的设计与实现

作者：邵旭东; 樊志杰^*; 张敬锋; 曹志威; 周明富; 熊已兴; **

来源：计算机测量与控制, 2023, 31(04): 272-280.

DOI：10.16526/j.cnki.11-4762/tp.2023.04.042

• 安全运行管理平台
• 标准化接口
• 插件技术
• 消息队列
• 流式架构

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究，提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统；采用基于消息队列的流式处理架构，实现日志采集、日志处理、日志上报等各个环节的解耦；采用标准化接口和插件技术，实现各种异构日志信息的采集和数据上报；采用消息队列的流量削峰技术，保证日志传输的安全可靠；依据日志流量特征，提出一种支持动态调整消费组的设计模式，达到超过20 000条日志/每秒的高性能采集要求；整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成，可满足对各类安全数据的集中分析、安全威胁感知和智能研判。

• 单位
  公安部第三研究所; 安徽省公安厅