网页爬虫进阶系列之东方财富网信息爬虫制作

本文 抓取使用7.0抓取东方财富网数据的方法。。

在开始之前，可以先参考一下这些文章，希望有帮助：
小白30分钟学会网页爬虫
网页爬虫真实案例记录

演示网址：http://quote.eastmoney.com/center/list.html#10

使用功能点：

l Ajax翻页  功能详情说明

l 分页表格信息提取  功能详情说明

东方财富网股票数据抓取说明：本文进行了东方财富网-行情中心-上涨A股股票数据的抓取。本文仅以“东方财富网-行情中心-上涨A股股票数据抓取”为例，大家在实操过程中，可根据自身需求，更换东方财富网的其他内容进行数据抓取。

东方财富网股票数据抓取详细说明：股票序号，股票代码，股票名称，股票相关链接，股票最新价，股票涨跌幅，股票振幅，股票成交量，股票成交额，股票昨收，股票今开，股票最高，股票最低，股票5分钟涨跌。

步骤1：创建抓取任务进入主界面选择，选择自定义模式



清晰原图>>

将上面网址的网址复制粘贴到网站输入框中， “保存网址”



清晰原图>>

保存网址后，页面将在抓取器中打开，红色方框中的评价信息是这次演示要抓取的内容



清晰原图>>

步骤2：创建翻页循环

l 找到翻页按钮，设置翻页循环

l 设置ajax翻页时间

将页面下拉到底部，找到下一页按钮，鼠标 ，在右侧操作提示框中，选择“循环 下一页”



清晰原图>>

由于页面使用了ajax加载技术，需要对 元素及翻页步骤设置ajax延时加载（ajax判断方法：打开流程图，找到翻页循环框，手动执行翻页，看网站有没有进行加载）在右侧的高级选项框中，勾选Ajax加载数据，选择合适的超时时间，一般设置2秒；最后 确定



清晰原图>>

注意： 右上角的“流程”按钮，即可展现出可视化流程图。

步骤3：分页表格信息抓取

l 选中需要抓取的字段信息，创建抓取列表

l 编辑抓取字段名称

移动鼠标选中表格里任意一个空格信息，右键 ，如图所示，框中数据会被选中，变成绿色， 右侧提示中 “TR”



清晰原图>>

选中数据当前一行的数据会被全部选中， “选中子元素”



清晰原图>>

右侧操作提示框中，查看提取的字段，可将不需要字段删除， “选中全部”



清晰原图>>

“抓取以下数据”



清晰原图>>

注意： 在提示框中的字段上会出现一个“X”标识， 即可删除该字段。



清晰原图>>

修改抓取任务名、字段名，并 下方提示中的“保存并开始抓取”



清晰原图>>

根据抓取的情况选择合适的抓取方式，这里选择“启动本地抓取”



清晰原图>>

说明：本地抓取占用当前电脑资源进行抓取，如果存在抓取时间要求或当前电脑无法长时间进行抓取可以使用云抓取功能，云抓取在网络中进行抓取，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你抓取，速度降低为原来的十分之一；抓取到的数据可以在云上保存三个月，可以随时进行导出操作。 步骤4：数据抓取及导出抓取完成后，会跳出提示，选择导出数据



清晰原图>>

选择合适的导出方式，将抓取好的数据导出



清晰原图>>