Scrapy爬虫系列笔记之一:总纲_by_书訢

这段时间因为项目需要一直在学习爬虫，担心像以前一样很多时候学习了新技术很久以后不用就忘掉很多。于是写下笔记，一方面帮助自己总结知识，以后回顾更快。另一方面帮助和我一样初次接触爬虫的人快速入门。以下是笔记大纲

1.环境配置和基础知识铺垫

1.1正则表达式

1.2深度优先和广度优先算法

1.3url去重策略

2.爬取数据实战

2.1实战准备工作

2.2静态网站爬取

2.3数据存储

2.4ItemLoader减小代码维护难度

2.5动态网站爬取之Selenium

3.scrapy反爬虫技术

3.1User-agent

3.2ip代理

3.2注册账号，每次请求带cookie

3.4模仿人限制速度

3.5验证码识别

3.6selenium进行动态网站数据爬取

4.scrapy redis 分布式爬虫

理解scrapy-redis分布式爬虫

集成bloomfilter到scrapy-redis中

笔记一到十链接

http://blog.csdn.net/sx_csu2016sw/article/details/79284369

http://blog.csdn.net/sx_csu2016sw/article/details/79284427

http://blog.csdn.net/sx_csu2016sw/article/details/79284449

http://blog.csdn.net/sx_csu2016sw/article/details/79284469

http://blog.csdn.net/sx_csu2016sw/article/details/79284481

http://blog.csdn.net/sx_csu2016sw/article/details/79284491

http://blog.csdn.net/sx_csu2016sw/article/details/79284509

http://blog.csdn.net/sx_csu2016sw/article/details/79284525

http://blog.csdn.net/sx_csu2016sw/article/details/79284547

http://blog.csdn.net/sx_csu2016sw/article/details/79284567