LSC-TGT:基于字符串聚类和模板生成树的在线日志解析方法

作者：祝蓓; 李静^*; 方晓蓉; 王亮

来源：小型微型计算机系统, 2020, 41(08): 1676-1683.

• 异常检测
• 系统日志解析
• 在线聚类
• 前缀树

系统日志记录了系统的运行信息,是开发人员检测系统异常必不可少的数据.异常检测的首要步骤是将非结构化日志解析为结构化的数据,即从日志中提取模板.针对当前绝大多数日志解析方法不能实时解析日志和解析不同系统日志参数不通用的问题,本文提出了一个准确高效的在线实时日志解析方法 LSC-TGT(Log String Clustering-Template Generating Tree).首先将日志按照长度分类,再获取日志字符串计算其相似度,基于相似度对日志二次聚类,最后使用模板生成树提取日志模板.我们在五个真实日志数据集上与现有的解析方法进行对比实验,实验结果表明,LSC-TGT的解析时间提高了22%～68.8%,解析准确度提高了11.5%～20.6%.实现了高效准确地解析非结构化日志数据.

• 单位
  国网上海市电力公司; 南京航空航天大学