手机开发实战44——手机字符编码介绍2

编码

UTF-8：

采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示。在网络传输时, 即使错了一个字节，不影响其他字节，而双字节只要一个错了，其他也错了，具体如下： 
    如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。UTF-8最多可用到6个字节。 
UTF-16：

采用2字节，Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。

从 0×0000到0×007F是ASCII字符，

从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。

希腊字母表使用从0×0370到 0×03FF 的代码，

斯拉夫语使用从0×0400到0×04FF的代码，

美国使用从0×0530到0×058F的代码，

希伯来语使用从0×0590到0×05FF的代码。

中国、日本和韩国的象形文字（总称为CJK）占用了从0×3000到0×9FFF的代码；由于0×00在c语言及操作系统文件名等中有特殊意义，故很多情况下需要UTF-8编码保存文本，去掉这个0×00。举例如下： 
UTF-16: 0×0080  = 0000 0000 1000 0000 
UTF-8:   0xC280 = 1100 0010 1000 0000 
UTF-32：采用4字节。 
优缺点 
    UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。 
    使用UTF-8编码时ASCII字符只占1个字节，存储效率比较高，适用于拉丁字符较多的场合以节省空间。 
    对于大多数非拉丁字符（如中文和日文）来说，UTF-16所需存储空间最小，每个字符只占2个字节。 
    Windows NT内核是Unicode（UTF-16），采用UTF-16编码在调用系统API时无需转换，处理速度也比较快。 
    采用UTF-16和UTF-32会有Big Endian和Little Endian之分，而UTF-8则没有字节顺序问题，所以UTF-8适合传输和通信。 
    UTF-32采用4字节编码，一方面处理速度比较快，但另一方面也浪费了大量空间，影响传输速度，因而很少使用。

如何判断字符集

1字节序 
    首先说一下字节序对编码的影响，字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以，传输时需要告诉处理器当时的编码字节序。对于前者而言，高位字节存在低地址，低字节存于高地址；后者相反。例如，0X03AB, 
Big Endian字节序 
0000: 0 3 
0001: AB 
Little Endian字节序是 
0000: AB 
0001: 0 3 
2编码识别 
UNICODE，根据前几个字节可以判断UNICODE字符集的各种编码，叫做Byte Order Mask方法BOM： 
UTF-8: EFBBBF (符合UTF-8格式，请看上面。但没有含义在UCS即UNICODE中) 
UTF-16 Big Endian：FEFF (没有含义在UCS-2中) 
UTF-16 Little Endian：FFFE (没有含义在UCS-2中) 
UTF-32 Big Endian：0000FEFF (没有含义在UCS-4中) 
UTF-32 Little Endian：FFFE0000 (没有含义在UCS-4中) 
GB2312：高字节和低字节的第1位都是1。 
BIG5，GBK&GB18030：高字节的第1位为1。