基于Spark平台的异常流量实时检测

作者：阎红灿^*; 王小雨; 刘盈

来源：电脑知识与技术, 2023, 19(36): 62-76.

DOI：10.14004/j.cnki.ckt.2023.1910

• SparkStreaming
• 分布式流量检测
• CNN
• Stacking
• 模型融合

传统的流量检测方法在大规模、大流量网络环境下不能满足对异常流量检测的准确性和实时性要求，基于此，该文构建了一个基于spark平台的分布式流量实时检测模型。该模型使用LibPcap、Flume、SparkStreaming实现分布式流量采集、上传和实时计算，以满足大流量场景下实时性需求；通过CNN网络提取流量载荷内容特征和双向流量统计特征，基于Stacking算法进行模型融合，提高了检测准确性；使用CIC-IDS-2018数据集对该模型进行了测试。实验结果表明，该模型能够满足大流量环境下异常流量检测的准确性和实时性要求。

• 单位
  华北理工大学