基于R软件的网络数据搜集方法

作者：金林; 李研; 陈晋泰

来源：统计与决策, 2019, 35(02): 83-87.

DOI：10.13546/j.cnki.tjyjc.2019.02.019

• 网络数据
• 搜集
• 爬虫
• R

文章介绍了R软件数据搜集工作的基本流程,HTTP、HTML、XML、JSON网络文档的基本知识及其数据搜集方法,重点讨论了HTTP协议下,对访问网页、网页数据搜集及其策略,包括文件批量下载、URL访问多页面、采集列表表格常用方式、静态网页表单处理、动态网页和使用API的处理方法等,分析了网页提取策略,包括正则表达式,Xpath和不同函数包的特点,还进一步讨论了处理网页过程中的中文乱码问题和爬虫过程中的规范和注意事项,最后通过一个实例进行数据搜集方法进行具体展示。

• 单位
  数学学院; 中南财经政法大学