科研之友
微信
新浪微博
Facebook
分享链接
摘要
在计量机构的信息系统中,需要存储大量证书报告、原始记录,如果直接存放于文件系统中,易出现扩容麻烦、碎片化、利用率低和I/0速度瓶颈等问题。日常使用中,经常查询各种业务数据统计,如果实时运算统计结果,易出现运算时间长的问题。为了解决这些问题,将证书报告、原始记录存入分布式MongoDB数据库,这样可以轻松存储海量数据。定时运行Spark作业,计算并缓存各种统计结果,用户查询时直接从MongoDB返回结果。测试发现:在并发数达到100时,存储速度是334 ms/份;在预先缓存结果后,能在1 s内响应客户请求。因此,基于MongoDB和Spark的大数据技术能满足计量机构的数据存储、运算需求。
- 单位
