科研之友
微信
新浪微博
Facebook
分享链接
摘要
日志是一种记录系统运行过程中重要信息的文本文件，而有效的日志异常检测可以帮助运维人员快速定位并解决问题，保证系统的快速恢复，从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间，序列，参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先，基于预训练模型对日志的事件模板进行语义信息提取，将系统日志建模为自然语言序列；然后，利用特征提取器分别对日志的事件序列，计数序列和时间序列进行特征提取融合，通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后，对日志进行分析，并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明，本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.
- 单位
