python爬虫入门-开发环境与小例子

python爬虫入门

开发环境

ubuntu 16.04

sublime

pycharm

requests库

requests库安装：

sudo pip install requests

第一个例子

import requests
r=requests.get("http://www.baidu.com")
r.encoding="utf-8"
print r.text

运行结果如下，成功抓取了百度的源代码



现在来详细讲解

import requests

就是导入了requests库，这是一个爬虫库

r=requests.get("http://www.baidu.com")

r是一个Response 对象。我们可以从这个对象中获取所有我们想要的信息。requests.get函数参数是url，返回值是一个Response 对象。

r.encoding="utf-8"

设置了网页编码，如果不加，汉字会乱码

print r.text

打印网页内容

获取请求状态码

import requests
r=requests.get("http://www.baidu.com")
print r.status_code

运行结果

200

200表示访问成功