pythonl练习笔记——爬虫的初级、中级、高级所匹配的知识
2018-05-10 21:08
399 查看
1 初级爬虫
(1)Web前端的知识:HTML, CSS, JavaScript, DOM, DHTML, Ajax, jQuery,json等;(2)正则表达式,能提取正常一般网页中想要的信息,比如某些特殊的文字,链接信息,知道什么是懒惰,什么是贪婪型的正则;
(3)会使用re, BeautifulSoup,XPath等获取一些DOM结构中的节点信息;
(4)知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;
(5)能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
2 中级爬虫
(1)了解什么是Hash,会使用简单的MD5,SHA1等算法对数据进行Hash以便存储;(2)熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等;
(3)能设置User-Agent进行数据爬取,设置代理等;
(4)知道什么是Request,什么是Response,会使用Fiddle, Wireshark等工具抓取及分析简单的网络数据包;对于动态爬虫,要学会分析Ajax请求,模拟制造Post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录;
(5)对于比较难搞定的网站,学会使用phatomjs+selenium抓取一些动态网页信息;
(6)并发下载,通过并行下载加速数据抓取;多线程的使用;
3 高级爬虫
(1)能使用Tesseract,百度AI等库进行验证码识别;(2)能使用数据挖掘的技术,分类算法等避免死链等;
(3)会使用常用的数据库进行数据存储,查询,如Mongodb,Redis(大数据量的缓存)等;下载缓存,学习如何通过缓存避免重复下载的问题;Bloom Filter的使用;
(4)能使用机器学习的技术动态调整爬虫的爬取策略,从而避免被禁IP封号等;
(5)能使用一些开源框架Scrapy,Celery等分布式爬虫,能部署掌控分布式爬虫进行大规模的数据抓取;
相关文章推荐
- [人工智能]机器学习知识体系篇(初级篇,中级篇,高级篇)
- [人工智能]机器学习知识体系篇(初级篇,中级篇,高级篇)
- 【耗子啃过的SEO之入门知识二】SEOer必看,初级、中级和高级SEOer
- SVN版本库的备份、还原、移植(初级篇、中级篇和高级篇)
- Eclipse中使用JUnit4单元测试 初级 中级 高级
- PHP开发工程师(初级,中级,高级)
- C++ Primer视频教程(初级、中级、高级全套价值千余元)
- c#初级、中级、高级程序员各需要???
- SQL操作(初级、中级、高级)
- 对 Linux 初级、中级、高级用户非常有用的 60 个命令
- SVN版本库的备份、还原、移植(初级篇、中级篇和高级篇)
- Eclipse中使用JUnit4单元测试 初级 中级 高级
- C++ Primer视频教程(初级、中级、高级全套价值千余元)
- 【ACM训练计划】POJ 题目分类 【初级、中级、高级】
- JSP开发工程师(初级,中级,高级)
- 对 Linux 初级、中级、高级用户非常有用的 60 个命令
- SQL操作(初级、中级、高级)
- SVN版本库的备份、还原、移植(初级篇、中级篇和高级篇)
- Web前端初级工程师走向中级甚至高级的一次重要蜕变