Unicode与ASCII

************************************************************************************************************************************************************************************************************************************************************************************************************************************

关于ascii与Unicode之间的爱情故事再次就不多讲了....http://blog.csdn.net/u011605971/article/details/46330087

关于字符的深入解析：

//前言：以前初学C语言的时候觉得Widechar比较麻烦，比较讨厌//一直不怎么喜欢，但是直到在写Win32时，苦于没用过运行时库处理WCHAR，自己写，一把辛酸泪//得来太容易，往往不知道珍惜，不懂其中的真意//对于封装库亦有相同的感受

1.从字符的底结构分类讲起：

 .1：ASCII  Begin：   ASCII：American Standard Code for Information Interchange   length：one byte   1981年IBM PC ROM256个字符的字符集，即IBM扩展字符集,扩展ASCII不再是国际标准。   [        [扫描码]    ESC键VK_ESCAPE (27)

    回车键：VK_RETURN (13)    TAB键：VK_TAB (9)    Caps Lock键：VK_CAPITAL (20)    Shift键：VK_SHIFT (16)    Ctrl键：VK_CONTROL (17)    Alt键：VK_MENU (18)    空格键：VK_SPACE (32)    退格键：VK_BACK (8)    左徽标键：VK_LWIN (91)    右徽标键：VK_RWIN (92)    鼠标右键快捷键：VK_APPS (93)    Insert键：VK_INSERT (45)    Home键：VK_HOME (36)    Page Up：VK_PRIOR (33)    PageDown：VK_NEXT (34)    End键：VK_END (35)    Delete键：VK_DELETE (46)    方向键(←)：VK_LEFT (37)    方向键(↑)：VK_UP (38)    方向键(→)：VK_RIGHT (39)    方向键(↓)：VK_DOWN (40)    F1键：VK_F1 (112)    F2键：VK_F2 (113)    F3键：VK_F3 (114)    F4键：VK_F4 (115)    F5键：VK_F5 (116)    F6键：VK_F6 (117)    F7键：VK_F7 (118)    F8键：VK_F8 (119)    F9键：VK_F9 (120)    F10键：VK_F10 (121)    F11键：VK_F11 (122)    F12键：VK_F12 (123)    Num Lock键：VK_NUMLOCK (144)    小键盘0：VK_NUMPAD0 (96)    小键盘1：VK_NUMPAD1 (97)    小键盘2：VK_NUMPAD2 (98)    小键盘3：VK_NUMPAD3 (99)    小键盘4：VK_NUMPAD4 (100)    小键盘5：VK_NUMPAD5 (101)    小键盘6：VK_NUMPAD6 (102)    小键盘7：VK_NUMPAD7 (103)    小键盘8：VK_NUMPAD8 (104)    小键盘9：VK_NUMPAD9 (105)    小键盘。：VK_DECIMAL (110)    小键盘*：VK_MULTIPLY (106)    小键盘+：VK_ADD (107)    小键盘-：VK_SUBTRACT (109)    小键盘/：VK_DIVIDE (111)    Pause Break键：VK_PAUSE (19)    Scroll Lock键：VK_SCROLL (145)   ]  End

上述的编码应该都是ascII************************************************************************************************************************************************************************************************************************

Unicode（UCS-2）：（ISO取的名字叫UCS(Universal Character Set),Unicode取的名字就叫unicode了.） Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。 目前的Unicode字符分为17组编排，0x0000 至 0xFFFF，每组称为平面（Plane），而每平面拥有65536个码位，共1114112个。 然而目前只用了少数平面。UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。  UCS Transfer Format UTF-8、utf16、utf32是Unicode的实现方式之一。  简单来说：  Unicode 是「字符集」  UTF-8 是「编码规则」  一个从ID到[编码]映射  Unicode编码指的是UCS-2编码方式，即直接用两个字节存入字符的Unicode码。  字符集：为每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point）  编码规则：将「码位」转换为字节序列的规则（编码/解码 可以理解为 加密/解密 的过程）  广义的 Unicode 是一个标准，定义了一个字符集以及一系列的编码规则，即 Unicode 字符集和 UTF-8、UTF-16、UTF-32 等等编码……

  Unicode 字符集为每一个字符分配一个码位，例如「知」的码位是 30693，记作 U+77E5（30693 的十六进制为 0x77E5）。  【   utf8规则：    UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。    1.对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。    2.对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。  】  UTF-8 顾名思义，是一套以 8 位为一个编码单位的可变长编码。会将一个码位编码为 1 到 4 个字节：

  U+ 0000 ~ U+ 007F: 0XXXXXXX  U+ 0080 ~ U+ 07FF: 110XXXXX 10XXXXXX  U+ 0800 ~ U+ FFFF: 1110XXXX 10XXXXXX 10XXXXXX  U+10000 ~ U+1FFFF: 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX

  根据上表中的编码规则，之前的「知」字的码位 U+77E5 属于第三行的范围：

      7    7    E    5       0111 0111 1110 0101    二进制的 77E5  --------------------------   0111   011111   100101 二进制的 77E5  1110XXXX 10XXXXXX 10XXXXXX 模版（上表第三行）  11100111 10011111 10100101 代入模版     E   7    9   F    A   5

  这就是将 U+77E5 按照 UTF-8 编码为字节序列 E79FA5 的过程。反之亦然。    ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对Windows简体中文版，如果是繁体中文版会采用Big5码）。

 Unicode版本2

  前面说的都是unicode的第一个版本.但65536显然不算太多的数字,用它来表示常用的字符是没一点问题.足够了,但如果加上很多特殊的就也不够了.于是从1996年开始又来了第二个版本.用四个字节表示所有字符.这样就出现了UTF-8,UTF16,UTF-32.原理和之前肯定是完全一样的,UTF-32就是把所有的字符都用32bit也就是4个字节来表示.然后UTF-8,UTF-16就视情况而定了.UTF-8可以选择1至8个字节中的任一个来表示.而UTF-16只能是选两字节或四字节..由于unicode版本2的原理完全是一样的,就不多说了.

 前面说了要知道具体是哪种编码方式,需要判断文本开头的标志,下面是所有编码对应的开头标志  关于little endian与big endian和内存的大端法小端法具有类似的原理（都是存储上的问题） EF BB BF　　　 UTF-8  FE FF　　　　　UTF-16/UCS-2, little endian  FF FE　　　　　UTF-16/UCS-2, big endian  FF FE 00 00　　UTF-32/UCS-4, little endian.  00 00 FE FF　　UTF-32/UCS-4, big-endian.

 其中的UCS就是前面说的ISO制定的标准,和Unicode是完全一样的,只不过名字不一样.ucs-2对应utf-16,ucs-4对应UTF-32.UTF-8是没有对应的UCS

************************************************************************************************************************************************************************************************************************

  汉字编码：  {   国标码：GB2312—1980      该编码中，共收录汉字和图形符号7445个，其中一级常用汉字3755个(按汉语拼音字母顺序排列)，      二级常用汉字3008个(按部首顺序排列)，图形符号682个。     GB2312—1980      全部国标汉字及符号组成一个94×94的矩阵。在此矩阵中，每 一行称为一个“区”，每一列称为一个“位”。      于是构成了一个有94个区(01～94区)，每个 区有94个位(01～94个位)的汉字字符集。区码与位码组合在      一起就形成了“区位码”，唯 一地确定某一汉字或符号。      【       1)01～09区：图形符号区。       2)10b15区：自定义符号区。       3)16～55区：一级汉字区，按汉字拼音排序，同音字按笔画顺序。       4)56～87区：二级汉字区，按偏旁部首、笔画排序。       5)88～94区：自定义汉字区。       //如此有规律的编码使得如搜狗等打字软件能够方便索引      】   汉字输入码：所谓汉字输入码就是用于使用西文键盘输入汉字的编码。每个汉字对应一组由键盘符号 组成的编码，不同的      汉字输入法其输入码不同。汉字输入码也称外码      【       1)数码：用数字组成的等长编码，典型代表有区位码、电报码。       2)音码：根据汉字的读音组成的编码，典型代表有全拼码和双拼码。       3)形码：根据汉字的形状、结构特征组成的编码，典型代表有五笔字型、表形码。       4)音形码：将汉字读音与其结构特征综合考虑的编码，典型代表有自然码、首尾拼音码。      】。   汉字的内码：      无论用户用哪种输入法，汉字输入到计算机后都转换成汉字内码进行存储，以方便机内 的汉字处理。      汉字内码是采用双字节的变形国标码，      在每个字节的低7位与国标码相同，每个 字节的最高位为1，以与ASCII码字符编码区别。   汉字字形码：      汉字字形码(汉字输出码)是将点阵组成的汉字模型数字化，形成一串二进制数称为汉 字字形码，其      主要用于输出汉字。输出汉字时，将汉字字形码再还原为由点阵构成的汉字，所 以汉字字形码又被称为汉字输出码。      //将点阵字数字化以便于进行对字的style进行变化。        //所谓的字符编码不过是对字符的一种从编号到可视的映射  }

在后面会对字符进行操作的函数（运行时库）和系统API的调用小做总结