海量数据采集技术在IDC不良信息监测系统中的应用研究

作者：朱壮军; 王彬

来源：电信工程技术与标准化, 2020, 33(11): 82-87.

DOI：10.13992/j.cnki.tetas.2020.11.014

• IDC
• 不良信息监测系统
• Hadoop
• 用户上网日志

本文阐述了某电信企业在建设IDC不良信息监测系统过程中,为高效处理每天的海量数据,选取了多种数据采集技术,进行反复方案论证和实验对比,最终选择了"Hadoop脚本+FTP"方式,极大提高了数据采集效率,实现了海量数据高效采集和处理,保证IDC不良信息监测系统能够及时发现和处理IDC中包含的不良信息,助力IDC业务健康发展,避免给国家和社会带来负面影响。