基于CNN-BiLSTM模型的日志异常检测方法

作者：孙嘉; 张建辉; 卜佑军; 陈博; 胡楠; 王方玉

来源：计算机工程, 2022, 48(07): 151-167.

DOI：10.19678/j.issn.1000-3428.0061750

• 日志异常检测
• 深度学习
• 特征融合
• 泛化能力
• 消融实验

目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难，研究卷积神经网络(CNN)、循环神经网络等迅速发展的深度学习技术，能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络(Bi-LSTM)优势的CNN-BiLSTM深度学习模型，在考虑日志键显著时间序列特征基础上，兼顾日志参数的空间位置特征，通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上，分析模型复杂度，同时在Hadoop日志HDFS数据集上进行实验，对比支持向量机（SVM）、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明，CNN-BiLSTM达到平均91%的日志异常检测准确度，并在WC98＿day网络日志数据集上达到94%检测准确度，验证了模型良好的泛化能力，与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外，通过消融实验表明，词嵌入和全连接层结构对于提升模型准确率具有重要作用。

• 单位
  中国人民解放军战略支援部队信息工程大学; 郑州大学