python编码检测模块chardet
2015-12-05 16:16
267 查看
抓取一批页面的内容时,经常会遇到编码类型不同的问题,经常令我们比较头痛,python有一个第三方的编码检测模块模块,可以为我们自动检测编码类型,并给出信心度,它检测的返回结果形式为:
它是一个字典类型,我们可以通过字典的方式访问结果中的值。
推荐地址: http://download.csdn.net/download/aqwd2008/4256178
官方地址: http://pypi.python.org/pypi/chardet
如果采用源代码安装方法,有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法,不论你选择哪种安装包,将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下,确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。
chardet有两种检测文件编码的方法,下面我们分别用例子介绍一下。
对于大文件来时,用这种方法可以节省内存,因为第一种方法是直接将整一个文件读入内存当中,而第二种方法是逐行读入内存,然后进行检测,这样就没有了读入整个文件的内存开销。
参考链接: /article/10330012.html
{'confidence': 0.99, 'encoding': 'utf-8'}
它是一个字典类型,我们可以通过字典的方式访问结果中的值。
chardet的安装
chardet 是python的第三方库,需要下载和安装。下载的地址有:推荐地址: http://download.csdn.net/download/aqwd2008/4256178
官方地址: http://pypi.python.org/pypi/chardet
如果采用源代码安装方法,有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法,不论你选择哪种安装包,将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下,确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。
chardet有两种检测文件编码的方法,下面我们分别用例子介绍一下。
一、chardet.detect方法
>>> import chardet >>> f = open('songs.txt','r') >>> result = chardet.detect(f.read()) >>> result {'confidence': 0.99, 'encoding': 'utf-8'}
二、chardet.universaldetector方法(适合大文件)
import urllib from chardet.universaldetector import UniversalDetector usock = urllib.urlopen('http://www.baidu.com/') #创建一个检测对象 detector = UniversalDetector() for line in usock.readlines(): #分块进行测试,直到达到阈值 detector.feed(line) if detector.done: break #关闭检测对象 detector.close() usock.close() #输出检测结果 print detector.result 运行结果: {'confidence': 0.99, 'encoding': 'GB2312'}
对于大文件来时,用这种方法可以节省内存,因为第一种方法是直接将整一个文件读入内存当中,而第二种方法是逐行读入内存,然后进行检测,这样就没有了读入整个文件的内存开销。
参考链接: /article/10330012.html
相关文章推荐
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门二之爬虫基础了解
- Python爬虫入门一之综述
- [转]逻辑斯蒂回归 via python
- Python 爬虫学习系列教程----目录
- python--10行代码搞定词频统计
- python基础教程共60课-第5课变量
- python基础教程共60课-第4课输入
- Python——参数(2)
- python--删除队列重复元素
- win64位系统安装numpy
- python基本 if和function
- python实现关闭第三方窗口
- python 多线程/多进程
- 机器学习python实战——K近邻算法
- python学习笔记1--turtle
- numpy.random.shuffle(x)的用法
- python基本 tuple
- Day-6
- python--字典排序