python-字符转换遇到的问题
2014-08-27 16:01
459 查看
1,异常: 'ascii' codec can't encode characters
字符集的问题,在文件前加两句话:
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
2,unicode中的‘\xa0’字符在转换成gbk编码时会出现问题,gbk无法转换'\xa0'字符。
所以,在转换的时候必需进行一些前置动作:
string.replace(u'\xa0', u' ')
将'\xa0‘替换成u' '空格。
3
raw_input读入是gbk编码的,汉字和字母都是
4正则匹配language
#get each language parts:
findPart(u"[\u4e00-\u9fa5]+", usample, "unicode chinese")
findPart(u"[\uac00-\ud7ff]+", usample, "unicode korean")
findPart(u"[\u30a0-\u30ff]+", usample, "unicode japanese katakana")
findPart(u"[\u3040-\u309f]+", usample, "unicode japanese hiragana")
findPart(u"[\u3000-\u303f\ufb00-\ufffd]+", usample, "unicode cjk Punctuation")
字符集的问题,在文件前加两句话:
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
2,unicode中的‘\xa0’字符在转换成gbk编码时会出现问题,gbk无法转换'\xa0'字符。
所以,在转换的时候必需进行一些前置动作:
string.replace(u'\xa0', u' ')
将'\xa0‘替换成u' '空格。
3
#! /usr/bin/env python #coding=utf-8 s=raw_input() print s,type(s),len(s) s=s.decode("gbk") print s,type(s),len(s) s=s.encode("utf-8") print s,type(s),len(s) s="中国" print s,type(s),len(s)
中国 中国 <type 'str'> 4 中国 <type 'unicode'> 2 中国 <type 'str'> 6 中国 <type 'str'> 6
raw_input读入是gbk编码的,汉字和字母都是
4正则匹配language
#get each language parts:
findPart(u"[\u4e00-\u9fa5]+", usample, "unicode chinese")
findPart(u"[\uac00-\ud7ff]+", usample, "unicode korean")
findPart(u"[\u30a0-\u30ff]+", usample, "unicode japanese katakana")
findPart(u"[\u3040-\u309f]+", usample, "unicode japanese hiragana")
findPart(u"[\u3000-\u303f\ufb00-\ufffd]+", usample, "unicode cjk Punctuation")
相关文章推荐
- python脚本处理文本时遇到的字符问题:UnicodeDecodeError: " " codec can't decode byte
- 关于python进制与字符转换的问题研究
- 使用python2时会遇到一系列显示中文字符的问题
- python用法:处理sqlite中的中文字符时遇到的问题
- python中将中文汉字转换为英文首字母的代码及遇到的小问题
- Python中的字符串与字符编码:编码和转换问题
- python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断
- python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断
- Python中的字符串与字符编码:编码和转换问题
- 关于Windows 开发遇到的字符转换问题
- php关于使用iconv(...)函数对字符进行中文转换时,遇到的一个问题
- python用法:处理sqlite中的中文字符时遇到的问题
- python用法:处理sqlite中的中文字符时遇到的问题
- java中遇到的类型转换的问题
- 不要在一棵树上吊死——有感于视频转换遇到的一个问题
- VS2003 Project 转换成VS2005 Project遇到的问题
- 一个sql中常遇到的表结构转换问题
- 使用Mencoder进行视频转换遇到的问题和相关解决方案
- sqlite3 jdbc、c接口、python接口处理中文时遇到的问题及其解决方法
- 困扰了好几天的jsp(struts)字符转换问题