摘要

农业信息网站建设的发展,带来农产品市场数据的急剧增长,这一增长趋势极大地推动了农业信息网站的大规模创建和使用。因此,运用大数据及爬虫技术,在农产品市场数据中把有价值的信息挖掘出来,既是适应形势发展的迫切需要,也是推进农业信息网站建设亟待解决的重要课题。提出了基于爬虫的农产品价格爬取及存储平台。爬虫技术可以按照用户需求,实时提取各类相关网页信息,通过服务平台进行整合,令用户能够在大量的价格信息中及时地获取适用信息。