如何判断文件的编码方式

最近做东西需要知道文件（txt，html...）究竟是什么编码方式，不然读取文件内容可能出现乱码：

经过网上查找发现两种总结一下，方便自己也方便别人：

①通过判断文件头，不过文件头不是必须的，所以有些文件是没有文件头的

/*

EF BB BF　　　 UTF-8

FE FF　　　　　UTF-16/UCS-2, little endian

FF FE　　　　　UTF-16/UCS-2, big endian

FF FE 00 00　　UTF-32/UCS-4, little endian.

00 00 FE FF　　UTF-32/UCS-4, big-endian.

*/

参考代码：

BYTE hdBuf[3];

file.Read(hdBuf, 3); //读取文件头来判断是哪种类型

file.SeekToBegin();

if(hdBuf[0] == strtoul(_T("ff"), NULL, 16) && hdBuf[1] == strtoul(_T("fe"), NULL,16))

{

//unicode

}

else if (hdBuf[0] == strtoul(_T("fe"), NULL, 16) && hdBuf[1] == strtoul(_T("ff"), NULL, 16))

{

//unicode big endian

}

else if(hdBuf[0] == strtoul(_T("ef"), NULL,16) &&

hdBuf[1] == strtoul(_T("bb"), NULL, 16)&&

hdBuf[2] == strtoul(_T("bf"), NULL, 16)) //utf8

{

//utf8

}

else

{

//ansi

}

②判断文本是否是utf8，在网上看到的，测试未发现问题，有待进一步验证

参考代码：

inline bool IsTextUTF8(char* str,ULONGLONG length)

{

DWORD nBytes = 0; //UFT8可用1-6个字节编码,ASCII用一个字节

UCHAR chr;

BOOL bAllAscii = true; //如果全部都是ASCII, 说明不是UTF-8

for(int i = 0;i < length;i++)

{

chr = *(str+i);

if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx

bAllAscii = false;

if(nBytes == 0) //如果不是ASCII码,应该是多字节符,计算字节数

{

if(chr >= 0x80)

{

if(chr >= 0xFC && chr <= 0xFD)

nBytes = 6;

else if(chr >= 0xF8)

nBytes = 5;

else if(chr >= 0xF0)

nBytes = 4;

else if(chr >= 0xE0)

nBytes = 3;

else if(chr >= 0xC0)

nBytes = 2;

else

{

return false;

}

nBytes--;

}

}

else //多字节符的非首字节,应为10xxxxxx

{

if( (chr&0xC0) != 0x80 )

{

return false;

}

nBytes--;

}

}

if( nBytes > 0 ) //违返规则

{

return false;

}

if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8

{

return false;

}

return true;

}

③windows自带的IsTextUnicode函数，是不靠谱的，如果只是估计那当然没问题了。