Windows环境下Unicode编程总结

UNICODE
环境设置

在
安装
Visual Studio
时，在选择
VC++
时需要加
入
unicode
选
项，保证相关的库文件可以拷贝到
system32
下。

UNICODE
编译设置：

C/C++, Preprocessor difinitions
去除
_MBCS
，加
_UNICODE,UNICODE

在
ProjectSetting/link/output

中设置
Entry
为
wWinMainCRTStartup

反
之为
MBCS
（
ANSI
）编译。

Unicode
：宽字节字符集

1.

如何取得一个既包含单字
节字符又包含双字节字符的字符串的字符个数？


可以调用
Microsoft Visual C++
的运行期库包含函数
_mbslen
来操作多字节（既包括单字节也包括双字节）字符串。

调用
strlen
函数，无法真正了解字符串中究竟有多少字符，它只能告诉你到达结尾的
0
之前有多少个字节。

2.

如何对

DBCS

（双字节字符集）字符串进行操作？


函数

描述

PTSTR CharNext
（
LPCTSTR
）
;
返回字符串中下一个字符的
地址

PTSTR CharPrev
（
LPCTSTR, LPCTSTR
）；

返回字符串中上一个字符的地址

BOOL IsDBCSLeadByte( BYTE )
；

如果该字节是
DBCS
字符的第一个字节，
则返回非
0
值

3.

为什幺要使用

Unicode

？


（
1
）

可以很容易地在不同语言之间进行数据交换。

（
2
）

使你能够分配支持所有语言的单个二进制
.exe
文件或
DLL
文件。

（
3
）

提高应用程序的运行效率。

Windows 2000
是使用
Unicode
从头进行开发
的，如果调用任何一个
Windows
函数并给它传递一个
ANSI
字
符串，那幺系统首先要将字符串转换成
Unicode
，然后将
Unicode
字符串传递给操作系统。如果希望函数返回
ANSI
字符串，系统就会首先将
Unicode
字符串转换成
ANSI
字符串，然后将结果返回给你的应用程序。进行这些字符串的转换需要占用系统的时间和内存。通过从头
开始用
Unicode
来开发应用程序，就能够使你的应用程序更加有效地运行。

Windows CE
本身就是使用
Unicode
的一种操作系统，完全不支持
ANSI Windows
函数

Windows 98
只支持
ANSI
，只能为
ANSI
开发应用程序。

Microsoft
公司将
COM
从
16
位
Windows
转换成
Win32
时，公司决定需要字
符串的所有
COM
接口方法都只能接受
Unicode
字符串。

4.

如何编写

Unicode

源代码？


Microsoft
公司为
Unicode
设计了
WindowsAPI
，这样，
可以尽量减少代码的影响。实际上，可以编写单个源代码文件，以便使用或者不使用

Unicode

来对它进行编译。只需要定义两个宏（

UNICODE

和

_UNICODE

），就可以修改然后重新编译该源文件。

_UNICODE

宏用于

C

运行期头文件，而

UNICODE

宏则用于

Windows

头文件。

当
编译源代码模块时，通常必须同时定义这两个宏。

5. Windows

定义的

Unicode

数据类型有哪些？


数据类型

说明

WCHAR Unicode
字符

PWSTR
指向
Unicode
字符串的指针

PCWSTR
指向一个恒定的
Unicode
字符串的指针

对应的
ANSI
数据类型为
CHAR
，
LPSTR
和
LPCSTR
。

ANSI/Unicode
通用数据类型为
TCHAR
，
PTSTR,LPCTSTR
。

6.

如何对

Unicode

进行操作？


字符集

特性

实例

ANSI
操作函数以
str
开头
strcpy

Unicode
操作函数以
wcs
开头
wcscpy

MBCS
操作函数以
_mbs
开头
_mbscpy

ANSI/Unicode
操作函数以
_tcs
开头
_tcscpy
（
C
运行期库）

ANSI/Unicode
操作函数以
lstr
开头
lstrcpy
（
Windows
函数）

所有新的和未过时的函数在
Windows2000
中都同时拥有
ANSI
和
Unicode
两个版本。
ANSI
版本函数结尾以
A
表示；
Unicode
版本函数结尾以
W
表示。
Windows
会如下定义：

#ifdef UNICODE

#define CreateWindowEx CreateWindowExW

#else

#define CreateWindowEx CreateWindowExA

#endif // !UNICODE

7.

如何表示

Unicode

字符串常量？


字符集

实例

ANSI “string”

Unicode L“string”

ANSI/Unicode T(
“
string
”
)
或
_TEXT(
“
string
”
)if( szError[0] ==
_TEXT(
‘
J
’
) ){ }

8.

为什幺应当尽量使用操作
系统函数？


这将有助于稍稍提高应用程序的
运行性能，因为操作系统字符串函数常常被大型应用程序比如操作系统的外壳进程
Explorer.exe
所使用。由于这些函数使用得很多，因此，在应用程序运行时，它们可能已经被装入
RAM
。

如：
StrCat
，
StrChr
，
StrCmp
和
StrCpy
等。

9.

如何编写符合

ANSI

和

Unicode

的应用程序？


（
1
）

将文本串视为字符数组，而不是
chars
数组或字节数组。

（
2
）

将通用数据类型（如
TCHAR
和
PTSTR
）用于文本字符和字
符串。

（
3
）

将显式数据类型（如
BYTE
和
PBYTE
）用于字节、字节指
针和数据缓存。

（
4
）

将
TEXT
宏用于原义字符和字符串。

（
5
）

执行全局性替换（例如用
PTSTR
替换
PSTR
）。

（
6
）

修改字符串运算问题。例如函数通常希望在字符中传递一个
缓存的大小，而不是字节。这意味着不应该传递
sizeof(szBuffer),
而应该传
递（
sizeof(szBuffer)/sizeof(TCHAR)
。另外，如果需要为字符串分配一个内存块，并且拥有该字符串中的字符数目，那幺请记住要按字节来分
配内存。这就是说，应该调用

malloc(nCharacters *sizeof(TCHAR)),
而不是调用
malloc(nCharacters)
。

10.

如何对字符串进行有选
择的比较？


通过调用
CompareString
来实现。

标志

含义

NORM_IGNORECASE
忽略字母的
大小写

NORM_IGNOREKANATYPE
不
区分平假名与片假名字符

NORM_IGNORENONSPACE
忽
略无间隔字符

NORM_IGNORESYMBOLS
忽略
符号

NORM_IGNOREWIDTH
不区分单
字节字符与作为双字节字符的同一个字符

SORT_STRINGSORT
将标点符号
作为普通符号来处理

11.

如何判断一个文本文件是

ANSI

还是

Unicode

？


判断如果文本文件的开头两个字
节是
0xFF
和
0xFE
，那幺就是
Unicode
，否则是
ANSI
。

12.

如何判断一段字符串是

ANSI

还是

Unicode

？


用
IsTextUnicode
进行判断。
IsTextUnicode
使
用一系列统计方法和定性方法，以便猜测缓存的内容。由于这不是一种确切的科学方法，因此
IsTextUnicode
有可能返回不正确的结果。

13.

如何在

Unicode

与

ANSI

之间转换字符串？


Windows
函数
MultiByteToWideChar
用于将多字节字符串转换成宽字符串；函数
WideCharToMultiByte
将宽字符串转换成等价的多字节字符串。

14.

Unicode

和

DBCS

之间的区别


Unicode
使用（特别在
C
程序设计语言环境里）“宽字符集”。「
Unicode
中的每个字符都是
16
位宽而
不是
8
位宽。」在
Unicode
中，没有单单
使用
8
位数值的意义存在。相比之下，在“双位组字符集”中我们仍然处理
8
位数值。有些位组自身定义字符，而某些位组则显示需要和另一个位组共同定义一个字符。

处理
DBCS
字符串非常杂乱，但是处理
Unicode
文字则像处理有秩序的文字。您也许会高兴地知道前
128
个
Unicode
字符（
16
位代码从
0x0000
到
0x007F
）就是
ASCII
字符，而接下来的
128
个
Unicode
字符（代码从
0x0080
到
0x00FF
）是
ISO 8859-1
对
ASCII
的扩展。
Unicode
中不同部分的字
符都同样基于现有的标准。这是为了便于转换。希腊字母表使用从
0x0370
到
0x03FF
的代码，斯拉夫语使用从
0x0400
到
0x04FF
的代码，美国使用从
0x0530
到
0x058F
的代码，希伯来语使用从
0x0590
到
0x05FF
的代码。中国、日本和韩国的象形文字（总称为
CJK
）占用了从
0x3000
到
0x9FFF
的代码。
Unicode
的最大好处是这
里只有一个字符集，没有一点含糊。

15.

衍生标准


Unicode

是一个标准。
UTF-8

是其概
念上的子集，
UTF-8

是具体的编码标准。而ＵＮＩＣＯＤＥ是所有想达到世界统一编码标准的标准。
UTF-8

标准就是
Unicode

（
ISO10646

）标准的一种变形方式，

UTF
的全
称是：
Unicode/UCS
Transformation Format
，其实有两种
UTF
，一种是
UTF-8
，一种是
UTF-16
，

不过
UTF-16
使用较少，其对应关系如下：

在
Unicode
中编码为
0000 - 007F
的
UTF-8
中编码形式为
: 0xxxxxxx

在
Unicode
中编码为
0080 - 07FF
的
UTF-8
中编码形式为
: 110xxxxx 10xxxxxx

在
Unicode
中编码为
0000 - 007F
的
UTF-8
中编码形式为
: 1110xxxx 10xxxxxx 10xxxxxx

utf-8
是
unicode
的一个新的编码标准
,
其实
unicode
有过好几个标准
.
我们知道
一直以来使用的
unicode
字符内码都是
16
位
,
它实际上还不能把全世界的所有字符编在一个平面系统
,
比如中国的藏文等小语种
,
所以
utf-8
扩展到了
32
位
,
也就是说理论在
utf-8
中
可容纳二的三十二次方个字符
. UNICODE
的思想就是想把所有的字符
统一编码
,
实现一个统一的标准
.big5
、
gb
都是独立的字符集
,
这也叫做
远东字符集
,
把它拿到德文版的
WINDOWS
上可能将会引起字符编码的冲突
....
早期的
WINDOWS
默认的字符集是
ANSI.notepad
中输入的汉字是本地编码
,
但在
NT/2000
内部是可以直接支持
UNICODE
的。
notepad.exe
在
WIN95
和
98
中都是
ANSI
字符
,
在
NT
中则是
UNICODE.ANSI
和
UNICODE
可以方便的实现
对应映射
,
也就是转换
ASCII
是
8
位范围内的字符集，对于范围之外的字符如汉字它是无法表达的。
unicode
是
16
位范围内的字符集，对于不
同地区的字符分区分配，
unicode
是多个
IT
巨头共同制定的字符编码标
准。如果在
unicode
环境下比如
WINDOWS NT
上，一
个字符占两字节
16
位，而在
ANSI
环境下如
WINDOWS98
下一个字符占一个字节
8
位
.Unicode
字符是
16
位宽，最多允许
65,535
字符，数据类型被称为
WCHAR
。

对于已有的
ANSI
字符，
unicode
简单的将其扩展
为
16
位：比如
ANSI"A"=0x43,
则
对应的
UNICODE
为

"A"= 0x0043

而
ASCII
用七存放
128
个字符
,ASCII
是一个真正的美国标准
,
所以它不
能满足其他国家的需要
,
例如斯拉夫语的字母和汉字于是出现了
Windows ANSI
字符集
,
是一种扩展的
ASCII
码
,
用
8
位存放字符
,
低
128
位仍然存放原来的
ASCII
码
,

而高
128
位加入了希腊字母等

if def UNICODE

TCHAR = wchar

else

TCHAR = char

你需要在
Project/Settings/C/C++/Preprocesser
definitions
中添加
UNICODE
和
_UNICODE

UINCODE,_UNICODE
都要定义。
不定义
_UNICODE
的话，用
SetText(HWND,LPCTSTR),
将被解释为
SetTextA(HWND,LPTSTR),
这时
API
将把你给的
Unicode
字符串看作
ANSI
字符串，显示乱码。因
为
windows
API
是已经编译好存在于
dll
中的，由于不管
UNICODE
还是
ANSI
字符串，都被看作一段
buffer,
如
"0B
A3 00 35 24 3C 00 00"
如果按
ANSI
读，因为
ANSI
字串是以
'/0'
结束的，所以只能读到两字节
"0B A3 /0"
，如果按
UNICODE
读，将完整的读到
'/0/0'
结
束。

由于
UNICODE
没有额外的指示位，所以系统必须知道你提供的字串是哪种格式。此外，
UNICODE
好象是
ANSI C++
规定的，
_UNICODE
是
windows SDK
提供
的。如果不编写
windows
程序，可以只定义
UNICODE
。

开发过程：

围绕着文件读写、字符串处理展
开。文件主要有两种：
.txt
和
.ini
文件

1.

在
unicode
和非
unicode
环境下字符串做
不同处理的，那么需要参考以上
9
，
10
两条，以适应不同环境得字符串处理要求。

对文件读写也一样。只要调用相
关接口函数时，参数中的字符串前都加上
_TEXT
等相关宏。如果写成的那个文件需要是

unicode
格式保存的，那么在创建文件时需要加入一个字节头。

CFile

file
;

WCHAR

szwBuffer
[
128

];

WCHAR
*
pszUnicode
= L
"Unicode string/n"
;
// unicode string

CHAR
*
pszAnsi
=
"Ansi string/n"
;
// ansi string

WORD

wSignature
=
0xFEFF

;

file
.
Open
(
TEXT
(
"Test.txt"
),
CFile
::
modeCreate
|
CFile
::
modeWrite

);

file
.
Write
(&
wSignature
,
2

);

file
.
Write
(
pszUnicode
,
lstrlenW
(
pszUnicode
) *
sizeof
(
WCHAR

));

//
explicitly use lstrlenW function

MultiByteToWideChar
(
CP_ACP
,
0
,
pszAnsi
, -
1
,
szwBuffer
,
128

);

file
.
Write
(
szwBuffer
,
lstrlenW
(
szwBuffer
) *
sizeof
(
WCHAR

));

file
.
Close
();

//
以上这段代码在
unicode
和非
unicode
环境下都有效。
这里显式的指明用
Unicode
来进行操作。

2.

在非
unicode
环境下，缺省调用的都是
ANSI
格
式的字符串，此时
TCHAR
转换为
CHAR
类型的，除非显式定义
WCHAR
。所以在这个环境下，如果读取
unicode
文件，那么首先需要移动
2
个字节，然后读取得字符串需要用
MultiByteToWideChar
来转换，转换后字符串信息才代表
unicode
数据。

3.

在
unicode
环境下，缺省调用得都是
unicode
格式得字符串，也就是宽字符，此时
TCHAR
转换为
WCHAR
，相关得
API
函数也都调用宽字符类型
的函数。此时读取
unicode
文件也和上面一样，但是读取得数据是
WCHAR
的，如果要转换成
ANSI
格
式，需要调用
WideCharToMultiByte
。如果读取
ANSI
的，则不用移动两个
字节，直接读取然后视需要转换即可。

某些语言（如韩语）必须在
unicode
环境下才能显示，这种情况下，
在非
unicode
环境下开发，就算用字符串函数转换也不能达到显示文字的目的，因为此时调用得
API
函数是用
ANSI
的（虽然底层都是用
UNICODE
处理但是处理结果是按照程序员调用的
API
来显示的）。所以必须用
unicode
来开发。