字符编码基础

搜索、整理了一些字符编码相关的基础知识：

所有的string类都是以C-style字符串为基础的。C-style字符串是字符数组。

字符类型有三种编码格式：

第一种是单字节字符集(single byte character set or SBCS)。

在这种编码格式下，所有字符都只用一个字节表示，ASCII码就是单字节字符。用"0"来表示一个字节的结束。

第二种编码格式是多字节字符集(multi-byte character set or MBCS)。

在Windows里的MBCS包含两种字符类型：单字节字符(single byte characters)和双字节字符(double byte characters)。由于Windows里使用的多字节字符绝大部分是两个字节长，MBCS常被DBCS代替。

第三种编码格式是Unicode。

Unicode是一种所有的字符都使用两个字节编码的编码模式。Unicode字符有时也被称作宽字符。

Unicode与MBCS的区别是：

MBCS字符可以使用不同长度的字节编码。单字节字符包含拉丁文字母表及ASCII码和DOS操作系统定义的图形字符。双字节字符被用来表示东亚及中东的语言。

Unicode被用来COM及Windows NT操作系统内部。

char是单字节字符。双字节字符也可以用char类型来进行操作。

Unicode字符用wchar_t来表示。Unicode字符和字符串常量用前缀L来表示。例如：

 wchar_t wch = L"1";

 wchar_t* wsz = L"Hello";

单字节字符串在内存中：每个字符占一个字节按顺序依次存储。最后以单字节表示的0结束。

例如："Bob"在内存中的存储形式：

 |-----------------------------|

 |  42  |  6F  |   62  |   00    |

 |-----------------------------|

 |  B    |   o   |   b    |  BOS |

 |-----------------------------|

Unicode的存储形式:

 |------------------------------------------|

 |  42 00 |   6F 00  |   62 00  |   00 00  |

 |------------------------------------------|

 |     B    |       o     |       b     |   BOS   |

 |------------------------------------------|

Win32 API中的MBCS和Unicode：

尽管你也许从来没有注意过，Win32中的每个与字符串相关的API和message都有两个版本。

一个版本按受MBCS字符串，另一个接受Unicode字符串。

例如：根本没有SetWindowText()这个API,相反有SetWindowTextA()和SetWindowTextW()。

后缀A表明这是MBCS函数，后缀W表示这是Unicode版本的函数。

当你build一个Windows程序，你可以选择是用MBCS或者Unicode API，如果你用vc向导并且没有改过预处理的设置。那表明你用的是MBCS版本。

当使用MBCS API来build程序时，UNICODE没有被定义，所以预处理器看到：

 #define SetWindowText SetWindowTextA

这个宏把所有对SetWindowText的调用都转换成真正的API函数SetWindowTextA.如果你想把默认使用的API函数变成Unicode版的，你可以在预处理器设置中，把_MBCS从预定义的宏列表中删除。然后添加UNICODE和_UNICODE(需要两个都定义，因为不同的头文件可能使用不同的宏。)

使用TCHAR类型

TCHAR是一种字符串类型，它让你在以MBCS和UNICODE来build程序时可以使用同样的代码；不需要使用繁琐的宏定义来包含你的代码。TCHAR的定义如下：

 #ifdef UNICODE

 typedef wchar_t TCHAR;

 #else

 typedef char TCHAR;

 #endif

还有一个宏来处理定义Unicode字符串常量时所需的L前缀。

 #ifdef UNICODE

 #define _T(x) L##X

 #else

 #define _T(x)x

 #endif

 ##是一个预处理操作符，它可以把两个参数连在一起。如果你的代码中需要字符串常量，在它前面加上_T宏，如果你使用Unicode来build，它会在字符串常量前加上L前缀。

 Windows API是用TCHAR来定义的，在编译时，它可以根据你是否定义_MBCS或_UNICODE被编译成MBCS或者Unicode字符。

    类型                含义

 WCHAR           Unicode character(wchar_t)

 TCHAR            MBCS or Unicode character.

 LPSTR             string of char (char*)

 LPCSTR          const string of char(const char*)

 LPWSTR         string of WCHAR(WCHAR*)

 LPCWSTR       constant string of WCHAR(const WCHAR*)

 LPTSTR           string of TCHAR(TCHAR*)

 LPCTSTR         constant string of TCHAR(const TCHAR*)

杂谈：

计算机发明后，为了在计算机中表示字符，人们制定了一种编码，叫做ASCII码。

ASCII码由一个字节中的7位(bit)表示，范围是0x00-0x7F共128个字符。用这128个数字表示abcd...ABCD...1234....这些字符。

后来又扩展了ASCII码的定义，使用一个字节的全部8位(bit)来表示字符了。这就叫扩展 ASCII码。范围是0x00-0xFF共256个字符。

再后来，中国人利用连续2个扩展ASCII码的扩展区域(0xA0以后)来表示一个汉字，该方法的标准叫GB-2312。

再后来，日文、韩文、阿拉伯文、台湾繁体都使用类似的方法扩展了本地字符集的定义，现在统一称为MBCS字符集(多字节字符集)。这种方法是有缺陷的，因为各个国家的定义的字符集有交集，因此使用GB2312的软件，就不能在BIG-5的环境下运行(显示乱码)。

为了把全世界的所有的文字符号都统一进行编码，于是制定了UNICODE标准字符集。UNICODE使用2个字节表示一个字符。这下终于好啦，全世界任何一个地区的软件，可以不用修改就能在另一个地区运行了。UNICODE的范围是0x0000-0xFFFF共6万多个字符。

在程序中使用各种字符集的方法：

 const char* p = "Hello"; //使用ASCII码

 const char* p = "你好"; //使用MBCS字符集，由于MBCS完全兼容ASCII码，多数情况，我们并不严格区分他们。

 LPCSTR p = "Hello,你好"; //意义同上。

 const WCHAR *p = L"Hello,你好"; //使用UNICODE字符集。

 const TCHAR *p = _T("Hello 您好");  //如果预定义了_UNICODE，则表示使用UNICODE字符集，如果定义了_MBCS,则表示使用                                                              //MBCS

 LPCTSTR p = _T("Hello,你好");//意义同上。