摘要

系统日志是用于记录系统运行情况的重要数据,通过分析日志可以有效监测系统运行状态、检测系统异常。随着大数据,云计算等技术的兴起,系统日志随着系统规模的扩大也不断增加,如何实现日志自动化分析成为当前研究热点,将非结构化日志文本解析为结构化数据是日志分析的基础。针对大多数日志解析方法难以有效分离日志状态变量的问题,文章提出在线日志解析方法(WT-Parser),方法通过日志单词构成来筛选模板单词用于日志聚类,并采用前缀树的思想提取日志模板。实验使用五个真实的日志数据集对方法进行评估,结果表明,WT-Parser能有效区分日志的状态变量,并且在大多数数据集上都显示了更加优异的性能。