基于数据中台的日志解析技术

作者：金铭^*; 崔硕; 温阳; 卞琳; 郭学良; 冯函宇

来源：河南师范大学学报(自然科学版), 2023, 51(06): 47-56.

DOI：10.16366/j.cnki.1000-2367.2023.06.006

• 数据中台
• 日志解析
• 日志挖掘
• 算法评估

数据中台是一种利用数据技术为客户提供高效服务的模式.日志是数据中台记录系统运行状态的一种方式，它可以为故障诊断、性能优化、系统安全等任务提供支持，分析日志中的信息对中台日常运维具有重要意义.日志解析是日志挖掘的重要步骤，它将非结构化的日志文本转换为结构化的数据.综述了日志解析算法和评估方法，分析了工业界和学术界的解决方案，总结了日志解析算法的主要类别和特点，比较了不同算法在不同数据集上的性能和效果.发现日志解析算法缺乏统一的标准和数据集，导致结果难以对比和验证.针对这种情况，对未来的研究方向提出建议，应关注建立统一的评估指标和日志数据集，促进工业界和学术界的交流，以提高日志解析算法的适用性和可靠性，对日志解析领域的研究具有参考价值.

• 单位
  国家电网有限公司