中国科协“智慧科协”工程支撑保障系列平台建设——中国科协数据中心的建设与应用

作者：李森

来源：科技传播, 2021, 13(15): 164-167.

DOI：10.16607/j.cnki.1674-6708.2021.15.053

• 中国科协
• “智慧科协”工程
• 数据中心

2018年初,中国科协提出建设"智慧科协"一号工程,以此实现"泛在永不落幕的网上科协"。在此大背景下,中国科协信息中心于2018年6月启动了"中国科协数据中心技术平台建设"工作。通过该项工作建成了集汇聚中心、治理中心和调度中心于一体的大数据技术平台,实现了科协内外部数据的采集、存储、治理、开放共享、应用等功能。系统由基础设施层、数据存储计算层、数据工具层和数据服务层等四层结构组成,通过对Yarn,HDFS,MR,Spark,Kafka等分布式存储计算引擎的整合,为整个大数据平台提供了基础能力。在建成技术平台的同时,按照"应连尽连、全面覆盖"的工作原则,开展面向科协系统"一体两翼"的数据汇聚和清洗工作,最终形成了数据服务大厅,面向科协内部,社会机构与公众提供大数据服务,尝试解决"智慧科协"建设过程中面临的数据分散、标准不一致、共享互通难和大数据应用不足等难题。