小白30分钟学会网页爬虫
2018-03-17 17:45
267 查看
文中用到的爬虫制作工具:前往官网获取。
分享:35个做好的爬虫规则+160篇图文教程汇总
首先,以某个多页(需要自动翻页)表格数据的收集为例,先演示一次网页收集的完整的过程:
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/e14s.gif)
演示这里使用的是,依次 表格某一行的每个字段,可以自动识别出其他所有数据行,并自动创建循环列表; 翻页按钮,选择“循环 下一页”动作,就能自动创建翻页循环。
网页信息爪取相关的工具有很多,有需要代码配合使用的,也有几乎不用代码的。其实实现网页收集所用的代码越少,效率越高,维护起来越简单。今天以为例,演示这个工具的一些基础知识:
1:基础操作
1.1 新建任务
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/news.gif)
1.2 导入规则
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/imports.gif)
制作好的规则是可以导出和导入的。规则文件是.otd后缀的文件,在安装了的系统中,双击可以启动导入;也可以在软件里批量导入。
上面演示中的百度网盘:https://pan.baidu.com/s/1d7thL0
可以下载下来,导入试试,仅供学习参考。
1.3 切换浏览器内核(手动或自动)
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/changes.gif)
1.4 定时自动启动演示
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/yuns.gif)
在电脑上将任务设置完成并提交到云 执行云收集之后,可以关闭软件,关闭电脑进行脱机收集,真正的实现无人值守。除此之外云收集 云 器集 的分布式部署方式,多节点同时进行作业,可以提高收集效率,并且可以高效的避开各种网站的IP 策略。
2:基本步骤
2.1 打开网页
查看“打开网页”步骤的动图演示
在第一步填写网址的文本框中,可以设置上万条网址,实现批量操作。
在分布式云收集中,单线程单机收集完成1个网页的时间,分布式可完成6-10个网页抓取,相当于6-10台电脑同时运行;
在分布式私有云中,这个速度可以提高到30~100倍。相当于1小时完成最慢30个小时最快100个小时的收集量。换成数值的话,单机收集1万数据的时间,私有云可以完成约30万~100万。
2.2 元素(和自动循环翻页演示)
查看“ 元素”步骤的动图演示
在内置浏览器中 网页任意位置,都可以选择“ ”操作,在收集流程中自动生成一个 步骤。
如果,自动生成的 步骤不能准确 到元素,也可以手动修改Xpath,像上面演示中,在“自定义”选项中进行修改。
XPATH的使用方法可以参考另一篇文章《在哪里设置xpath》
2.3 提取数据
动图演示某汽车 列表网页数据的抓取过程
演示中,我们需要自动地提取出列表中,每一个 的信息。
当 名称的时候,程序自动识别出其他 (其他 名称底色加深了),并提示“其他15个同类元素”,选择“选中全部”操作,就能自动为每个 的数据生成循环自动处理。
不妨找一个类似的网页试试看,比如汽车之家等网站。
2.4 自动输入文本
网页中,一般文本框都是input元素或者textarea元素。如果 某个文本框,没有“输入 ”操作可以选择,不妨多试几次,可能是没有点准这个INPUT 或 textarea元素。
查看“输入文本”步骤的动图演示
还可以设置一个文本列表,自动循环批量输入文本
查看循环“输入文本”步骤的动图演示
2.5 鼠标悬停
有些动态加载,鼠标放上才会加载并显示内容的情况,就需要“鼠标悬停”功能来实现。如下图:
动图演示淘宝动态加载店铺评分的收集
淘宝网搜索结果中,店铺三项评分是鼠标放上动态加载的,ajax延时设置为1秒,如果本地网络条件不好,1秒不够加载的话,可以设置的更长一点。
鼠标悬停不是常用的功能,可能不是特别好理解,建议感兴趣的话,拿来淘宝网页实际模仿一下。
2.6 判断条件
查看“判断条件”步骤的动图演示
演示中循环打开两个网页,分别是“百度网”和“新浪网”。
手动添加一个“判断条件”模块,设置上条件,使程序自动区分不同的网站。
以上就是常用的几种基本步骤。对于新手入门学习,一般可以满足需求了。
抓到的数据还可以直接进行可视化分析、文本语义分析,让 “说话”:
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/wetoos.gif)
更多实例演示,我都放在另一篇文章里了:《网页爬虫真实案例记录》
分享:35个做好的爬虫规则+160篇图文教程汇总
首先,以某个多页(需要自动翻页)表格数据的收集为例,先演示一次网页收集的完整的过程:
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/e14s.gif)
演示这里使用的是,依次 表格某一行的每个字段,可以自动识别出其他所有数据行,并自动创建循环列表; 翻页按钮,选择“循环 下一页”动作,就能自动创建翻页循环。
网页信息爪取相关的工具有很多,有需要代码配合使用的,也有几乎不用代码的。其实实现网页收集所用的代码越少,效率越高,维护起来越简单。今天以为例,演示这个工具的一些基础知识:
1:基础操作
1.1 新建任务
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/news.gif)
1.2 导入规则
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/imports.gif)
制作好的规则是可以导出和导入的。规则文件是.otd后缀的文件,在安装了的系统中,双击可以启动导入;也可以在软件里批量导入。
上面演示中的百度网盘:https://pan.baidu.com/s/1d7thL0
可以下载下来,导入试试,仅供学习参考。
1.3 切换浏览器内核(手动或自动)
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/changes.gif)
1.4 定时自动启动演示
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/yuns.gif)
在电脑上将任务设置完成并提交到云 执行云收集之后,可以关闭软件,关闭电脑进行脱机收集,真正的实现无人值守。除此之外云收集 云 器集 的分布式部署方式,多节点同时进行作业,可以提高收集效率,并且可以高效的避开各种网站的IP 策略。
2:基本步骤
2.1 打开网页
查看“打开网页”步骤的动图演示
在第一步填写网址的文本框中,可以设置上万条网址,实现批量操作。
在分布式云收集中,单线程单机收集完成1个网页的时间,分布式可完成6-10个网页抓取,相当于6-10台电脑同时运行;
在分布式私有云中,这个速度可以提高到30~100倍。相当于1小时完成最慢30个小时最快100个小时的收集量。换成数值的话,单机收集1万数据的时间,私有云可以完成约30万~100万。
2.2 元素(和自动循环翻页演示)
查看“ 元素”步骤的动图演示
在内置浏览器中 网页任意位置,都可以选择“ ”操作,在收集流程中自动生成一个 步骤。
如果,自动生成的 步骤不能准确 到元素,也可以手动修改Xpath,像上面演示中,在“自定义”选项中进行修改。
XPATH的使用方法可以参考另一篇文章《在哪里设置xpath》
2.3 提取数据
动图演示某汽车 列表网页数据的抓取过程
演示中,我们需要自动地提取出列表中,每一个 的信息。
当 名称的时候,程序自动识别出其他 (其他 名称底色加深了),并提示“其他15个同类元素”,选择“选中全部”操作,就能自动为每个 的数据生成循环自动处理。
不妨找一个类似的网页试试看,比如汽车之家等网站。
2.4 自动输入文本
网页中,一般文本框都是input元素或者textarea元素。如果 某个文本框,没有“输入 ”操作可以选择,不妨多试几次,可能是没有点准这个INPUT 或 textarea元素。
查看“输入文本”步骤的动图演示
还可以设置一个文本列表,自动循环批量输入文本
查看循环“输入文本”步骤的动图演示
2.5 鼠标悬停
有些动态加载,鼠标放上才会加载并显示内容的情况,就需要“鼠标悬停”功能来实现。如下图:
动图演示淘宝动态加载店铺评分的收集
淘宝网搜索结果中,店铺三项评分是鼠标放上动态加载的,ajax延时设置为1秒,如果本地网络条件不好,1秒不够加载的话,可以设置的更长一点。
鼠标悬停不是常用的功能,可能不是特别好理解,建议感兴趣的话,拿来淘宝网页实际模仿一下。
2.6 判断条件
查看“判断条件”步骤的动图演示
演示中循环打开两个网页,分别是“百度网”和“新浪网”。
手动添加一个“判断条件”模块,设置上条件,使程序自动区分不同的网站。
以上就是常用的几种基本步骤。对于新手入门学习,一般可以满足需求了。
抓到的数据还可以直接进行可视化分析、文本语义分析,让 “说话”:
这是一张会动的Gif图,查看原图>>
![](http://bzy.dream-world.cn/img/warticle/wetoos.gif)
更多实例演示,我都放在另一篇文章里了:《网页爬虫真实案例记录》
相关文章推荐
- 小白30分钟学会网页采集基础教程[有N多案例]
- 网页爬虫真实案例记录 小白也能一看就会
- python 3 爬虫小白PyCharm爬取简单网页信息控制台错误
- 爬虫入门三(获取各国网址,三种网页抓取方法,下载缓存)
- java 网页爬虫(以扒取amazon网页信息为例)
- 教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
- c#关于网页内容抓取,简单爬虫的实现。(包括动态,静态的)
- [置顶] python3爬虫爬取网页图片简单示例
- Python 爬虫:获取网页图片
- python爬虫:不同解析网页方式添加报头
- Python 爬虫修养-处理动态网页
- flag1本人技术小白,自学了数据结构,现在自学算法,给自己立一个flag争取每天学会一个算法,欢迎大家监督打脸!!!!
- 网络爬虫设计——网页去重
- 【XPath Helper:chrome爬虫网页解析工具 Chrome插件】XPath Helper:chrome爬虫网页解析工具 Chrome插件下载_教程_安装 - 开发者插件 - Chrome插件网
- 爬虫的自我解剖(抓取网页HtmlUnit)
- 爬虫、网页分析解析辅助工具 Xpath-helper
- 30分钟学会正则
- Python爬虫学习——获取网页
- Python3伪装浏览器爬虫读取网页内容