字符编码问题(1)

从学习编程的第一天，字符乱码乱码问题就开始困扰我。这个问题就像一个幽灵一样，时隐时现。很多时候，它并不是一个大问题，简单地去掉代码中出现的中文就可规避。但是躲了太久，我发现自己到现在也没有明白乱码问题的根源。今天,试图逐步弄清这个问题。

本文参考了这几篇博客

文件编码格式

UNICODE,GBK,UTF-8区别

Unicode字符编码规范

1. 初识字符编码

字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码。

为使计算机支持更多语言，通常使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。

不同的国家和地区制定了不同的标准，由此产生了GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。

不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。

2. 常见的编码方式

2.1 中文

常见的简体中文编码方式有

GB2312(1980年)

收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GBK1.0(1995年)

收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。

GB18030(2000年)

收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。

这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符

2.2 Unicode

Unicode 也是一种字符编码方法，不过它是由国际组织设计，可以容纳全世界所有语言文字的编码方案。Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。

UCS有两种格式：UCS-2和UCS-4。顾名思义，UCS-2就是用两个字节编码，UCS-4就是用4个字节（实际上只用了31位，最高位必须为0）编码。

注意：Unicode只与ASCII兼容（更准确地说，是与ISO-8859-1兼容），与GB码不兼容

Unicode的问题

1.ASCII字符是单个字节的，比如“A”的ASCII是65。而Unicode是双字节的，比如“A”的Unicode是0065，这就造成了一个非常大的问题：以前处理ASCII的那套机制不能被用来处理Unicode了。

2.另一个更加严重的问题是，C语言使用'\0'作为字符串结尾，而Unicode里恰恰有很多字符都有一个字节为0，这样一来，C语言的字符串函数将无法正常处理Unicode，除非把世界上所有用C写的程序以及他们所用的函数库全部换掉

2.3 UTF

UCS规定了怎么用多个字节表示各种文字。怎样传输这些编码，是由UTF(UCS Transformation Format)规范规定的，常见的UTF规范包括UTF-8、UTF-7、UTF-16。所以可以认为，UTF是为传送unicode而想出来的“再编码”方式。

UTF-8

UTF-8就是以8位为单元对UCS进行编码。

UTF-8有点类似于Haffman编码

将Unicode编码为00000000-0000007F的字符，用单个字节来表示

将Unicode编码为00000080-000007FF的字符用两个字节表示

将Unicode编码为00000800-0000FFFF的字符用3字节表示

例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间，所以肯定要用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89

UTF-16

UTF-16以16位为单元对UCS进行编码。

对于小于0x10000的UCS码，UTF-16编码就等于UCS码对应的16位无符号整数。所以就目前而言，可以认为UTF -16和UCS-2基本相同。但UCS-2只是一个编码方案，UTF-16却要用于实际的传输，所以要考虑字节序的问题。

3. 字节序和BOM

3.1 字节序

big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。如果将49写在前面，就是little endian。

假设int类型占4个字节，int类型的变量i被初始化为1。
以大端模式存储，其内存布局如下图：



以小端模式存储，其内存布局如下图：



如何编程判断是大端还是小端，参考这里

3.2 BOM

BOM是Byte Order Mark的缩写

在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。

这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF（读者可以用我们前面介绍的编码方法验证一下）。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。