科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了从互联网海量数据中获取数据资源，实现对前沿技术动态的监控，使用Pyspider框架定时爬取大批网站的信息，并通过python脚本定时将爬取的数据导入到业务系统中。最初，系统采用了Pyspider官方推荐的分布式架构，在使用中发现存在任务队列容易堵塞、受网络质量影响大、获得的数据不利于统计和使用等问题。针对上述问题和业务需要，对Pyspider框架进行优化，将分布式架构转变为集群式架构；剥离与网页内容获取和保存不相关的任务，在Pyspider框架外独立完成。经测试，改进后的架构工作效率和稳定性大幅提升，达到了预期的效果。
-
单位北京邮电大学; 中国信息通信研究院
