您的位置:首页 > 运维架构 > 网站架构

同时访问多个不同编码的网站,不乱码存入MySQL

2017-11-16 11:00 274 查看
1 if req.encoding == 'ISO-8859-1':
2     tree = etree.HTML(req.content)
3 else:
4     tree = etree.HTML(req.text)


然后再直接写入例如:

1 connect.escape(tree.xpath("//title/text()")[0])


用的requests,可以自动识别编码,但是有时候还是不行。

else指无论gbk还是gb2312还是utf-8,requests可以正确识别这些。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: