大规模电商平台商品信息采集系统的设计与实现

作者：刘哲; 马乐荣

来源：延安大学学报(自然科学版), 2020, 39(02): 32-42.

DOI：10.13876/J.cnki.ydnse.2020.02.032

• 大规模
• 电商平台
• Splash
• Scrapy
• 数据采集

基于Splash技术,对商品页面中的javascript代码进行预渲染,结合Scrapy爬虫框架,实现了一种快速、有效采集不同平台商品数据的系统。实验结果表明,该系统能有效采集不同平台的商品数据,具有一定的应用价值和推广性。