自动检测汉字GB18030编码与UTF-8编码

先看看汉字的GB18030编码与UTF-8编码范围

GB18030

第1位：0x81 ~ 0xFE 1000 0001 ~ 1111 1110

第2位：0x40 ~ 0x7E 0100 0000 ~ 0111 1110

或 者：0x80 ~ 0xFE 1000 0000 ~ 1111 1110

UTF-8

第1位：0xE0 ~ 0xEF 1110 0000 ~ 1110 1111

第2位：0x80 ~ 0xBF 1000 0000 ~ 1011 1111

第3位：0x80 ~ 0xBF 1000 0000 ~ 1011 1111

想到如下特征来识别汉字：

1. 如果第1位是0就不需要判断的，一定是ASCII字符。

2. 如果第1位是1开头的，第2位是0开头的，一定是GB编码。

3. 如果第1位是非1110开头的，则一定是GB编码。

4. 多做几个汉字判断。

考虑到判断效率，简要写了如下代码做判断即可达到基本效果：

/*
* Get the character code type. (UTF-8 or GB18030)
* @param s the string to be operator.
* @return return the code type. (1 means UTF-8, 0 for GB18030, -1 for error)
*/
int get_character_code_type(const char* s)
{
if (NULL == s)
{
return -1;
}

int i = 0;
for(; s[i] != '\0'; i++)
{
// ASCII character.
if (!(s[i] & 0x80))
{
continue;
}
// Hanzi utf-8 code possiable.
else if(!( (s[i] & 0xF0) ^ 0xE0)
&& s[i+1]
&& !( (s[i+1] & 0xC0) ^ 0x80)
&& s[i+2]
&& !( (s[i+2] & 0xC0) ^ 0x80))
{
return 1;
}
// Not a UTF-8 code.
else
{
return 0;
}
}

return -1;
}

写一个测试例子来测试一下：

#include "char_code.h"
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>

int main(int argc, char* argv[])
{
if (argc < 2)
{
printf("%s [file_path]\n", argv[0]);
return -1;
}

// open file and read buf.
int f = open(argv[1], O_RDONLY);
if ( -1 == f )
{
fprintf(stderr, "file %s open failed.\n", argv[1]);
return -1;
}

char buf[1024] = {0};
read(f, buf, 1023);
int ret = get_character_code_type(buf);
fprintf(stdout, "char code type = %s\n", (ret == 1 ? "UTF-8" : "GB18030"));

// close file.
if ( 0 != close(f))
{
fprintf(stderr, "file %s close failed.\n", argv[1]);
return -1;
}

return 0;
}

编译：

gcc test.c -o test -O0 -g3 -Wall

运行结果：

$ ./test gb18030.txt
char code type = GB18030
$ ./test utf8.txt
char code type = UTF-8

参考文献：

UTF-8编码检测失败特例
http://www.kuqin.com/language/20071201/2740.html
UTF-8文件的Unicode签名BOM(Byte Order Mark)问题
http://blog.csdn.net/thimin/article/details/1724393
UTF-8
http://zh.wikipedia.org/zh-cn/UTF-8
GB 18030
http://zh.wikipedia.org/wiki/GB_18030
下载：
http://download.csdn.net/detail/firstboy0513/4137551