Java常用字符集编码详解

Java常用字符集编码详解

      Web开发的时候经常会遇到一些字符编码的错误，如页面乱码等问题，所以有必要需对字符编码有所了解，以下是Ricki收集的一些资料（可能不是很全，但希望对你有所帮助）
      Java标准字符集：所谓Java标准字符集，就是Java平台支持的字符集：US-ASCII、ISO-8859-1、UTF-8、UTF-16BE、UTF-16LE、UTF-16。
      US-ASCII
      US-ASCII，这是一个出现得比较早的字符编码规范；因为它出现比较早，在通用型方面也考虑得比较少，所以也比较简单。一个ASCII字符用一个字节存储，也就是说它可以用来表示256个不同的字符。由于英文大小写字母、阿拉伯数字和标点符号等字符是有限的，所以就把前128个字符作为常用字符，而剩下的高位字符作为扩展字符。这128个字符通常用来表示音标、特殊字符等。
      ISO-8859-1
      ISO-8859-1也常被称为Latin_1（拉丁1）字符集，像MySQL的默认字符集就是ISO-8859-1，其他它与ASCII编码类似，也是用一个字节表示一个字符，也只用于表示英文字符、数字、符号及特殊字符。它与ASCII唯一的不同在于它是一个国际标准，而ASCII只是一个美国国家标准。
      中文字符集
      通过对上面两种字符集的了解，如果想用它们来表示中文字符集，显然有些不太现实，因为常用的中文字符都有上千个之多，所以我们需要能表示更多字符的字符集实现中文字符编码。但又为了兼容ASCII编码，中国在ASCII的基础上制定了自己的字符编码规范，也就是我们比较熟悉的GB2312，它的全称是GB2312-80信息交换用汉字编码字符集（基础集）。它能定义了7000多个常用汉字和符号，GB2312的实现是通过使用两个扩展ASCII字符来定义一个中文字符，根据这一特定，我们就可以判断相邻的两个ASCII字符是否为扩展字符，我们就可以确认这两个字符组成一个中文字符，但是在扩展ASCII字符中，也定义了一些其他字符，所以相邻两个ASCII同为扩展字符时，并不能肯定的说它是一个中文字符，处理起来是相当麻烦的。
      除了GB2312这个字符集以外，还有几个中文的字符集：Big5、HKSCS、GBK、GB18030。
      ——>         Big5：台湾使用的编码标准，繁体中文字符，字符数也有7000多个。
      ——>         HKSCS：香港使用的编码标准，繁体中文字符，但跟Big5不同
      ——>         GBK：《汉字内码扩展规范》是GB2312的扩展集，不仅增加了大量简体中文字符和符号，也增加了对繁体中文字符的支持，另外还留有用户自定义字符空间，总共字符数在22000左右。
      ——>         GB18030：《信息交换用汉字编码字符集 基本集的扩充》将会成为中国字符编码规范新标准，它兼容GB2312和GBK。
      GB2312、Big5、HKSCS是同一时期的产物，虽然都是通过扩展ASCII来实现的，但是它们彼此之间并不兼容，GBK作为GB2312的扩展产物，它几乎涵盖了Big5里所有的繁体字，并将一些不常见的中文字符也添加进入标准，windows操作系统支持的中文字符集也就是GBK；GB18030是2000年制定的标准，它为了兼容GB2312和GBK，保留了双字节编码，同时为了扩展，新增了四字节编码，扩展后的GB18030字符集新增了部分少数民族文字，支持的字符数量比GBK多5000多个。
      Unicode
      通过对上面知识的学习，你就会觉得Unicode（Universal Multiple-Octet Coded Character Set）的出现是种必然，如果没有一套统一的字符编码标准，我们将举步维艰。Unicode提供了两套字符编码标准：
      ——>           UCS-2（Unicode-16）：2个字节字符编码
      ——>           UCS-4（Unicode-32）：4个字节字符编码
      Unicode编码能支持的字符数相当多，Unicode-16就能定义65535个字符，其中包含了大量中文字符（一个中文字符只暂一位）。
      其实Unicode是一种理想化的字符标准，它并没有过多的考虑目前已经存在的字符集标准，它只与ISO-8859-1兼容，但它并不与ASCII兼容，想从ASCII编码转换为Unicode编码相当困难；另外，Unicode里很多字符都有‘0’字节，这将导致C语言会误认为它为字符串结束标志，这是相当可怕的，如果使用了Unicode编码，所有用C语言实现的系统将无法正常工作。这也是为何会出现UTF的原因。
      UTF编码
      UTF（UCS Transformation Format）实现了Unicode与计算机所使用的编码之间的映射关系。常用的UTF编码有：UTF-8、UTF-16、UTF-7等。
      ——>       UTF-8：是三字节变长字符编码，它能兼容ASCII编码。
      ——>       UTF-16：是Unicode的标准实现，与Unicode编码规范相同
      ——>       UTF-16BE：UTF-16编码big endian，先存放高字节
      ——>       UTF-16LE：UTF-16编码little endian，先存放低字节
      其中，big endian和little endian是CPU处理多字节字符的不同方法，因CPU的不同而有所不同。另外，很多人都认为UTF-8和Unicode是一个概念，其实UTF-8只是Unicode标准的一种编码实现，是目前使用得比较多的字符编码格式之一。
      PS:一、  各个国家和地区所制定的不同 ANSI 编码（不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码）标准中，都只规定了各自语言所需的“字符”。比如：汉字标准（GB2312）中没有规定韩国语字符怎样存储。这些 ANSI 编码标准所规定的内容包含两层含义：
             1.使用哪些字符。也就是说哪些汉字，字母和符号会被收入标准中。所包含“字符”的集合就叫做“字符集”。
             2.规定每个“字符”分别用一个字节还是多个字节存储，用哪些字节来存储，这个规定就叫做“编码”。
             各个国家和地区在制定编码标准的时候，“字符的集合”和“编码”一般都是同时制定的。因此，平常我们所说的“字符集”，比如：GB2312, GBK, JIS 等，除了有“字符的集合”这层含义外，同时也包含了“编码”的含义。
            “UNICODE 字符集”包含了各种语言中使用到的所有“字符”。用来给 UNICODE 字符集编码的标准有很多种，比如：UTF-8, UTF-16, UnicodeLittle, UnicodeBig 等。
         二、从计算机对多国语言的支持角度看，大致可以分为三个阶段：

　 系统内码 说明 系统
阶段一 ASCII 计算机刚开始只支持英语，其它语言不能够在计算机上存储和显示。 英文 DOS
阶段二 ANSI编码
（本地化） 为使计算机支持更多语言，通常使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。比如：汉字 '中' 在中文操作系统中，使用 [0xD6,0xD0] 这两个字节存储。

不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。

不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。 中文 DOS，中文 Windows 95/98，日文 Windows 95/98
阶段三 UNICODE
（国际化） 为了使国际间信息交流更加方便，国际组织制定了 UNICODE 字符集，为各种语言中的每一个字符设定了统一并且唯一的数字编号，以满足跨语言、跨平台进行文本转换、处理的要求。