python 爬虫介绍

十八、爬虫介绍

爬虫介绍：

项目前几乎搜索引擎都有爬虫，蜘蛛

公司没有数据可以通过爬虫获取

公司有竞争对手，可以通过爬竞争对手的网站，了解他们的动向

数据学习的必备技巧

 

爬虫网站：

中国新闻网：(结构简单，适用于练手)
http://www.chinanews.com/
百思不得:(带有分页)
http://www.budejie.com/
豆瓣网：
https://www.douban.com/
 

工具包介绍:

1、request包:

Requests: HTTP for Humans  (适合人类的http请求)
http://www.python-requests.org/   (官网，有中文文档)

 

安装：

pip install requests

 

2、lxml包：(没有中文，linux安装费劲，windows有.exe安装)
http://lxml.de     (官网)
https://pypi.python.org/simple/lxml   (下载地址)

 

 

request包的使用：

x = get(url,headers,...) (模拟header可以破解反爬虫)

x.text  (对网页编码自动解码，但也有的不能)

x.content (获取趴下来的原始的文档)