python抓取中文网页乱码

我们经常通过python做采集网页数据的时候，会碰到一些乱码问题，今天给大家分享一个解决网页乱码，尤其是中文网页的通用方法。

首页我们需要安装chardet模块，这个可以通过easy_install 或者pip来安装。

安装完以后我们在控制台上导入模块，如果正常就可以。

比如我们遇到的一些ISO-8859-2也是可以通过下面的方法解决的。

直接上代码吧：

import urllib2
import sys
import chardet

req = urllib2.Request("http://www.163.com/")##这里可以换成http://www.baidu.com,http://www.sohu.com
content = urllib2.urlopen(req).read()
typeEncode = sys.getfilesystemencoding()##系统默认编码
infoencode = chardet.detect(content).get('encoding','utf-8')##通过第3方模块来自动提取网页的编码
html = content.decode(infoencode,'ignore').encode(typeEncode)##先转换成unicode编码，然后转换系统编码输出
print html

文件编码是UTF-8，同时在文件头添加 # -*- coding: utf-8 -*-
文件中所有的字符串前都加u，如 u"中文"
在输入（抓取某些utf-8/gbk的网页）、输出（输出到网页、终端）的时候，要记住python内部是用Unicode存储的
所有输入要先decode，变成unicode，输出时要encode变成想要的编码（MacOS X/Linux下输出为utf-8，Windows下输出为gbk，但如果是在pycharm自己的控制台下的话，windows下输出为utf-8也可以正常显示）
还有其他很多种古老的解决方案，比如统一用gbk，比如中转编码不用unicode，而用utf-8，如此种种。
源码文件用coding: utf-8指定编码并把文件保存为utf-8格式
为了作为__main__模块执行时不出不必要的错误，统一使用\n换行
如果需要在源码内嵌入汉字等非ascii字符，建议使用u前缀作为unicode字符串，这样在print时可以可以不做编码转换，
否则如果控制台编码与源文件编码不一致就必须显式转换，通过locale.getdefaultlocale()可以获取系统语言和编码
涉及文件路径的最好转换为sys.getfilesystemencoding()编码
unicode字符串在写入文件时必须转换为某种字节编码
json默认支持utf-8编码
尽量用utf-8和unicode，除了前面说的文件路径和写入文件等少数情况