urllib2默认支持HTTP/HTTPS的GET和POST方法

urllib.urlencode()

urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：

1.urllib仅可以接受URL，不能创建设置headers的Request实例；
2.但是urllib提供urlencode方法用来GET查询字符串的产生，而urllib2则没有。（这是urllib和urllib2经常一起使用的主要原因）
3.编码同作使用urllib的urlencode（）函数，帮我们讲key：value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的unquote（）函数。（注意，不是urllib2.urlencode（））

注意：举例是用3.6版本，如果是urllib，我们就要用urllib.parse。

举例一：

举例二：

爬取贴吧。

import urllib.request
import urllib.parse

def loadPage(url,filename):
"""
作用：根据url发送请求，获取服务器响应文件
url：需要爬取的url地址
filename:处理的文件名
:return:
"""
print("正在下载"+filename)
headers = {"User-Agent" : "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"}
request=urllib.request.Request(fullurl,headers=headers)
return urllib.request.urlopen(request).read()
def writePage(html,filename):
"""
作用：将html内容写入到本地
html：服务器响应文件内容
:param html:
:return:
"""
print("正在保存"+filename)
#文件写入
with open(filename,"w") as f:
f.write(str(html))
print("-"*30)
def tiebaSpider(url,beginPage,endPage):
"""
作用：贴吧爬虫调度器，负责组合处理每个页面的url
url：贴吧url的前部分
beginPage：起始页
endPage：结束页
:return:
"""
for page in range(beginPage,endPage+1):
pn = (page-1)*50
filename="第" + str (page) + "页.html"
fullurl = url + "&pn=" + str (pn)
#print(fullurl)
html=loadPage(fullurl,filename)
#print(html)
writePage(html,filename)
print("谢谢使用")
if __name__=="__main__":
kw = input("请输入需要爬取的贴吧名：")
beginPage = int(input("请输入起始页："))
endPage = int(input("请输入结束页："))

url = "http://tieba.baidu.com/f?"
key = urllib.parse.urlencode({"kw": kw})
fullurl = url + key
tiebaSpider(fullurl,beginPage,endPage)