ANSI和UNICODE 之间的转换

转自：http://haobinnan.blog.51cto.com/775253/434600

 一．ANSI和UNICODE

1．为什么要使用UNICODE？ 

（1） 可以很容易地在不同语言之间进行数据交换。

（2） 使你能够分配支持所有语言的单个二进制.exe文件或DLL文件。

（3） 提高应用程序的运行效率。

Windows 2000是使用UNICODE从头进行开发的，如果调用任何一个Windows函数并给它传递一个ANSI字符串，那么系统首先要将字符串转换成UNICODE，然后将UNICODE字符串传递给操作系统。如果希望函数返回ANSI字符串，系统就会首先将UNICODE字符串转换成ANSI字符串，然后将结果返回给你的应用程序。进行这些字符串的转换需要占用系统的时间和内存。通过从头开始用UNICODE来开发应用程序，就能够使你的应用程序更加有效地运行。

Windows 98只支持ANSI，只能为开发ANSI应用程序。 Windows CE 就是使用UNICODE的操作系统，完全不支持ANSI版函数。

Microsoft将COM从Win16转换成Win32时，所有COM接口方法都只能接受UNICODE字符串。

2．ANSI字符和UNICODE字符

ANSI字符类型为CHAR，指向字符串的指针PSTR(LPSTR)，指向一个常数字符串的指针PCSTR(LPCSTR)；对应的Windows定义的UNICODE字符类型为WCHAR（typedef WCHAR wchar_t），指向UNICODE字符串的指针PWSTR ，指向一个常数UNICODE字符串的指针PCWSTR 。

ANSI "ANSI";

UNICODE L"UNICODE";

ANSI/UNICODE _T("string") or _TEXT("string");

3．ANSI字符和UNICODE字符串的操作

双字节(DBCS)字符集中，字符串的每个字符可以包含一个或两个字节。如果只是调用strlen()函数，那么你就无法知道字符串到底有多少个字符，它只能告诉你到达结尾的0之前有多少个字节。

标准c中的strcpy,strchr,strcat等只能用于ANSI字符串，不能正确处理UNICODE字符串，因此也提供了一组补充函数，功能等价，但用于UNICODE码。我们来看看string .h字符串头文件中是怎样处理char*和wchar_t*两个字符串版本的：

// …\Microsoft Visual Studio 8\VC\include\string.h

char *strcat(char*,const char*);

wchar_t *wcschr(wchar_t*, const wchar_t*);

类似的还有strchr/wcschr，strcmp/wcscmp，strlen/wcslen etc. ANSI 操作函数以str开头 strcpy ，UNICODE 操作函数以wcs开头 wcscpy。

MBCS 操作函数以_mbs开头 _mbscpy

ANSI/UNICODE 操作函数以_tcs开头 _tcscpy（C运行期库）

ANSI/UNICODE 操作函数以lstr开头 lstrcpy（Windows API-KERNEL32.DLL）

所有新的和未过时的函数在Windows2000中都同时拥有ANSI和UNICODE两个版本。ANSI版本函数结尾以A表示；UNICODE版本函数结尾以W表示。操作系统根据是否定义了UNICODE宏来调用合适版本的API。

    Windows XP默认字符集为gbk（包含gb2312）。wchar_t wcs[] = {0xCD, 0xCD, 0xEE, 0xFE, 0x00};表示汉字“屯铪”。参考在线汉字编码查询。

 

二．ANSI/UNICODE通用字符/字符串类型TCHAR/LPTSTR/LPCTSTR

<1>_UNICODE宏用于C运行期头文件（如下_tprintf示例），UNICODE宏则用于Windows头文件(如上winnt.h中),当编译代码模块时，通常必须同时定义这两个宏或都不定义。

winnt.h中定义了TEXT（__TEXT）宏，用于做UNICODE环境的自适应。对于非UNICODE环境，__TEXT宏不对参数quote做任何处理；对于UNICODE环境，__TEXT宏在字符串quote前添加L宏，以表示宽字符串(wchar_t[])。

// #include <winnt.h>

typedef CHAR char;

typedef WCHAR wchar_t;

 

#ifdef  UNICODE                    // r_winnt

typedef WCHAR TCHAR, *PTCHAR;

typedef WCHAR *LPWSTR;

typedef LPWSTR LPTSTR;

typedef CONST WCHAR *LPCWSTR;

typedef LPCWSTR LPCTSTR;

#define __TEXT(quote) L##quote  // r_winnt

#else   /* UNICODE */             // r_winnt

typedef CHAR TCHAR, *PTCHAR;

typedef CHAR *LPSTR;

typedef LPSTR LPTSTR;

typedef CONST CHAR *LPCSTR,

typedef LPCSTR LPCTSTR;

#define __TEXT(quote) quote

#endif /* UNICODE */             // r_winnt

#define TEXT(quote) __TEXT(quote)   // r_winnt

Microsoft的VC提供了tchar.h头文件用于字符集的自适应（To be used for compatibility between single-byte, multi-byte and Unicode text models）。对常用的函数做了T定义，例如_tprintf：

// #include <tchar.h>

#ifdef  _UNICODE

#define __T(x)      L ## x

typedef wchar_t     TCHAR;

#define _tprintf    wprintf

#else   /* ndef _UNICODE */

#define __T(x)      x

#define _tprintf    printf

#endif /* _UNICODE */

#define _T(x)       __T(x)

#define _TEXT(x)    __T(x)

<2>如果定义了_UNICODE，若要生成一个UNICODE字符串,字符串前要加L宏，用于告诉编译器该字符串应该作为UNICODE字符串来编译处理。但是这样又有个问题就是如果没有定义_UNICODE则编译出错。为了解决这个问题我们必须用到_T(_TEXT)宏，同winnt.h中定义的TEXT（__TEXT）宏。使用该宏后，无论源文件有没有定义_UNICODE都不会出现编译错误。

<3>ANSI与UNICODE的一些互操作QA

Q1：如何判断一个文本文件是ANSI还是Unicode？

A1：如果文本文件的开头两个字节是0xFF和0xFE，那么就是Unicode，否则是ANSI。

Q2：如何判断一段字符串是ANSI还是Unicode？

A2：用IsTextUnicode进行判断。IsTextUnicode使用一系列统计方法和定性方法，以便猜测缓存的内容。由于这不是一种确切的科学方法，因此 IsTextUnicode有可能返回不正确的结果。

Q3：如何在Unicode与ANSI之间转换字符串？

A3：Windows函数MultiByteToWideChar/mbstowcs函数用于将多字节字符串转换成宽字符串,函数WideCharToMultiByte/wcstombs将宽字符串转换成等价的多字节字符串。