摘要
针对在线系统的动态日志中存在的概念漂移问题,提出一种结合置信度的系统日志在线异常检测模型(COP)。按照时间顺序模拟Hadoop分布式文件系统日志,使用滑动窗口以日志块的方式接收日志并进行预处理;获取一定时间内的日志作为预先知识并计算p值;使用一致性预测得分计算置信度,根据预先知识中获得的显著性水平过滤异常日志;建立当前与之前日志数据之间的联系,动态更新校准集并输出一个可信的检测结果。实验结果表明,COP与用于模拟增量学习的重训练异常检测模型相比,得到的在线检测结果和时间性能更优。
- 单位