在J2ME实现UTF-8转换为Unicode编码的方法
2008-07-25 11:14
876 查看
UTF-8就是Unicode Transformation Format-8,是Unicode的一种变换编码格式。本文介绍了UTF-8转换为Unicode编码的方法,给出了在J2ME环境下的实现。
UTF-8就是Unicode Transformation Format-8,是Unicode的一种变换编码格式。
UTF-8 有以下特性:
UCS 字符 U+0000 到 U+007F (ASCII) 被编码为字节 0x00 到 0x7F (ASCII 兼容). 这意味着只包含 7 位 ASCII 字符的文件在 ASCII 和 UTF-8 两种编码方式下是一样的.
所有 >U+007F 的 UCS 字符被编码为一个多个字节的串, 每个字节都有标记位集. 因此, ASCII 字节 (0x00-0x7F) 不可能作为任何其他字符的一部分.
表示非 ASCII 字符的多字节串的第一个字节总是在 0xC0 到 0xFD 的范围里, 并指出这个字符包含多少个字节. 多字节串的其余字节都在 0x80 到 0xBF 范围里. 这使得重新同步非常容易, 并使编码无国界, 且很少受丢失字节的影响.
可以编入所有可能的 231个 UCS 代码
UTF-8 编码字符理论上可以最多到 6 个字节长, 然而 16 位 BMP 字符最多只用到 3 字节长.
Bigendian UCS-4 字节串的排列顺序是预定的.
字节 0xFE 和 0xFF 在 UTF-8 编码中从未用到.
下列字节串用来表示一个字符. 用到哪个串取决于该字符在 Unicode 中的序号.
U-00000000 - U-0000007F:
0xxxxxxx
U-00000080 - U-000007FF:
110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF:
1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF:
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF:
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF:
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
从上表还可以看出,UTF-8每个编码字符都不可能以“10”开头,“10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。
下面是UTF-8到Unicode的编码转换代码(J2ME环境下的实现):UTFC2UniC方法包含了编码转换逻辑。
public static String UTF2Uni(byte[] utf_data, int len)
public static char UTFC2UniC(byte[] utf, int sptr, int cntBits)
// 根据给定字节计算UTF-8编码的一个字符所占字节数
// UTF-8规则定义,字节标记只能为0或2~6
private static int getCntBits(byte b)
参考资料:
《UTF-8 and Unicode FAQ》—— http://www.linuxforum.net/books/UTF-8-Unicode.html
UTF-8就是Unicode Transformation Format-8,是Unicode的一种变换编码格式。
UTF-8 有以下特性:
UCS 字符 U+0000 到 U+007F (ASCII) 被编码为字节 0x00 到 0x7F (ASCII 兼容). 这意味着只包含 7 位 ASCII 字符的文件在 ASCII 和 UTF-8 两种编码方式下是一样的.
所有 >U+007F 的 UCS 字符被编码为一个多个字节的串, 每个字节都有标记位集. 因此, ASCII 字节 (0x00-0x7F) 不可能作为任何其他字符的一部分.
表示非 ASCII 字符的多字节串的第一个字节总是在 0xC0 到 0xFD 的范围里, 并指出这个字符包含多少个字节. 多字节串的其余字节都在 0x80 到 0xBF 范围里. 这使得重新同步非常容易, 并使编码无国界, 且很少受丢失字节的影响.
可以编入所有可能的 231个 UCS 代码
UTF-8 编码字符理论上可以最多到 6 个字节长, 然而 16 位 BMP 字符最多只用到 3 字节长.
Bigendian UCS-4 字节串的排列顺序是预定的.
字节 0xFE 和 0xFF 在 UTF-8 编码中从未用到.
下列字节串用来表示一个字符. 用到哪个串取决于该字符在 Unicode 中的序号.
U-00000000 - U-0000007F:
0xxxxxxx
U-00000080 - U-000007FF:
110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF:
1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF:
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF:
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF:
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
从上表还可以看出,UTF-8每个编码字符都不可能以“10”开头,“10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。
下面是UTF-8到Unicode的编码转换代码(J2ME环境下的实现):UTFC2UniC方法包含了编码转换逻辑。
public static String UTF2Uni(byte[] utf_data, int len)
public static char UTFC2UniC(byte[] utf, int sptr, int cntBits)
// 根据给定字节计算UTF-8编码的一个字符所占字节数
// UTF-8规则定义,字节标记只能为0或2~6
private static int getCntBits(byte b)
参考资料:
《UTF-8 and Unicode FAQ》—— http://www.linuxforum.net/books/UTF-8-Unicode.html
相关文章推荐
- Unicode 编码中文 + 未编码中文符号 转换成UTF-8 中文 python实现
- JavaScript中字符串与Unicode编码互相转换的实现方法
- PHP实现Unicode和Utf-8编码相互转换
- PHP实现Unicode编码相互转换的方法示例
- J2ME中读取Unicode和UTF-8编码文件的方法
- PHP如何实现Unicode和Utf-8编码相互转换
- JavaScript中字符串与Unicode编码互相转换的实现方法
- JavaScript中字符串与Unicode编码互相转换的实现方法
- python实现unicode转中文及转换默认编码的方法
- PHP实现gb2312、UTF-8等字符和unicode间的编码转换及PHP版unescape
- PHP如何实现Unicode和Utf-8编码相互转换
- Java实现的UTF-8,GBK,Unicode编码相互转换的代码
- python str方法转换为字符串 对于Unicode会调用系统默认编码
- mysql默认编码为UTF-8 通过修改my.ini实现方法
- J2ME中读取Unicode和UTF-8编码文件
- Unicode编码及其实现:UTF-16、UTF-8,and more
- linux下php中文UTF-8转换Unicode方法和注意事项
- 字符编码知识:Unicode、UTF-8、ASCII、GB2312等编码之间是如何转换的?
- 【JAVA编码】 JAVA字符编码系列二:Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- C#: 中文和UNICODE字符转换方法 及仿安居客地图实现。。。错误 GMap2未定义 解决办法 -VB 中文转为UNICODE字符