python urllib库使用
2016-07-07 19:07
309 查看
urllib是python中的内置库,为从万维网中抓取数据提供相关的接口。在使用python编写爬虫时经常会接触到这个库。
下面介绍一下urllib库中的一些方法及相应的实例。
其中url参数表示远程的一个路径,data表示用于post方式传递到url的数据,proxies用于设置代理。该方法返回一个表示远程url的file-like对象。该对象拥有以下方法:
read() , readline() , readlines() , fileno() ,close() :这些方法的使用方式与文件对象完全一样
info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
getcode():返回http状态码。如200、404、403等。
geturl():返回请求的url,因为有时候服务器会将client重定向至另一个url
实例:
urlretrieve方法直接将远程数据下载到本地。参数url表示远程文件的地址;参数filename指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调,如可以利用这个回调函数来显示当前的下载进度。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。
对字符串进行编码。参数safe指定了不需要编码的字符。如:In [26]: urllib.quote("hello world")
Out[26]: 'hello%20world'
urllib.unquote(string)
对字符串进行解码
urllib.urlcleanup()
清空urltrieve()的缓存
2016-10-18:这个库似乎废弃了,建议使用urllib2,python3的话可以用urllib。
下面介绍一下urllib库中的一些方法及相应的实例。
urllib.urlopen(url[, data[, proxies]]) :
其中url参数表示远程的一个路径,data表示用于post方式传递到url的数据,proxies用于设置代理。该方法返回一个表示远程url的file-like对象。该对象拥有以下方法:read() , readline() , readlines() , fileno() ,close() :这些方法的使用方式与文件对象完全一样
info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
getcode():返回http状态码。如200、404、403等。
geturl():返回请求的url,因为有时候服务器会将client重定向至另一个url
实例:
r=urllib.urlopen("http://www.baidu.com/") print 'http headers:',r.info() print 'http status:',r.getcode() print 'url:',r.geturl() print 'contents:',r.read()
urllib.urlretrieve(url[, filename[, reporthook[, data]]]):
urlretrieve方法直接将远程数据下载到本地。参数url表示远程文件的地址;参数filename指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调,如可以利用这个回调函数来显示当前的下载进度。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。
urllib.urlencode(query[, doseq])
将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'brink', 'age': 20}将被转换为"name=brink&age=20"
urllib.quote(string[,safe])对字符串进行编码。参数safe指定了不需要编码的字符。如:In [26]: urllib.quote("hello world")
Out[26]: 'hello%20world'
urllib.unquote(string)
对字符串进行解码
urllib.urlcleanup()
清空urltrieve()的缓存
2016-10-18:这个库似乎废弃了,建议使用urllib2,python3的话可以用urllib。
相关文章推荐
- java-用HttpURLConnection发送Http请求.
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- 爬虫笔记
- VBScript 剪贴板抓取URL并在浏览器中打开
- 基于C#实现网页爬虫
- 用vbs 实现从剪贴板中抓取一个 URL 然后在浏览器中打开该 Web 站点
- asp获取URL参数的几种方法分析总结[原创]_应用技巧_脚本之家
- Nodejs爬虫进阶教程之异步并发控制
- Node.js环境下编写爬虫爬取维基百科内容的实例分享
- C#实现在网页中根据url截图并输出到网页的方法
- zend framework框架中url大小写问题解决方法
- url decode problem 解决方法
- php url地址栏传中文乱码解决方法集合
- 探讨:parse url解析URL,返回其组成部分
- C#实现自动识别URL网址的方法
- C#自定义针对URL地址的处理类实例
- JavaScritp添加url参数并将参数加入到url中及更改url参数的方法
- ASP让url的中文显示为编码
- PHP+HTML+JavaScript+Css实现简单爬虫开发