网络爬虫基础（二）

例子：

importurllib2

response= urllib2.urlopen("http://www.baidu.com")

printresponse.read()
 
•urlopen(url, data,
timeout)
–第一个参数url即为URL
–第二个参数data
是访问URL
时要传送的数据
–第三个timeout是设置超时时间
–返回response对象
•read
方法，可以返回获取到的网页内容

例子：

importurllib2

request= urllib2.Request("http://www.baidu.com")

response= urllib2.urlopen(request)

printresponse.read()
•上面的urlopen参数可以传入一个request
请求(其实就是一个Request类的实例)
 

Http定义了不服务器交互的不同方式

––GET[获取/查询]
•GET
方式是直接以链接形式访问，链接中包吨了所有的参数
––POST[更新]
•POST把提交的数据则放置在是HTTP包的包体中
––PUT[增加]
不DELETE[删除] <略>

例子(POST)：

––import
urllib
––import
urllib2
––values
= {"username":“zhangsan@gmail.com","password":“xxx"}

––data
= urllib.urlencode(values)
––url="https://passport.csdn.net/account/login?xxx=yyyy"
––request
= urllib2.Request(url,data)
––response
= urllib2.urlopen(request)
––print
response.read()

Headers设置

––User-Agent
: 部分服务器戒Proxy
会通过该值来判断是否是浏览器发出的请求
很多网页不允许非浏览器访问，爬虫的时候要伪装成浏览器，就通过User-Agent来设置。
––Content-Type
: 在使用REST
接口时，服务器会检查该值，用来确定HTTP Body
中的内容该怎样解析。
––application/xml
：在XML RPC，如RESTful/SOAP
调用时使用
––application/json：在JSON
RPC 调用时使用
––application/x-www-form-urlencoded：浏览器提交Web
表单时使用

Urllib不urllib2之
间的区别

––urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你丌可以伪装你的User
Agent字符串等
––urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因

Urllib中的urlencode函数
，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串

例子：

importurllib
importurllib2

url='http://www.zhihu.com/login'

user_agent='Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)' values = {'username'
：‘Lee',
'password' : 'XXXX' }
headers= { 'User-Agent' : user_agent}

data =urllib.urlencode(values)

request= urllib2.Request(url, data, headers)

response= urllib2.urlopen(request)

page =response.read()