CDN日志全链路分析系统的实施

作者:封万里; 王之伟; 池庆国; 孙志惠; 岑翼刚
来源:广东通信技术, 2020, 40(10): 53-56.

摘要

在CDN对用户请求的内容进行加速的过程中,用户请求会经过众多环节,每个环节都会生成相应的日志。当CDN网络出现故障时,运维人员一般采用人工的方式搜索、分析用户日志,效率低下,而且分析的准确性偏低。设计了一套针对CDN整个链路的日志分析系统,首先在每个环节的日志里增加traceId字段跟踪每条请求,借助Hive与ES集群,将日志长期存储并提供接口查询日志的详细内容,CDN运维人员可以检索、查看并生成故障分析报告。系统还支持人工录入故障原因,为后续的机器学习自动分析链路提供数据源。本系统已经部署在中国移动CDN平面并持续稳定运行。