把gbk的编码按utf-8来解码，可能导致的不可恢复的错误

转载自：http://blog.csdn.net/chinainvent/article/details/5550589

看完这篇文章，自己又收获了很多，最后附上自己的一点感想（红字部分），这点感想解决了我在另一篇文章中的疑惑。

utf-8使用三个字节来表示一个汉字（更准确的说，是使用三个字节来表示unicode内码为2048至65535的文字）。

那么，这带来了一个问题。当utf-8使用三个字节来表示一个汉字时，它要求这三个字节的格式为：

1110yyyy 10yyyyxx 10xxxxxx

如果某个字节的前四位满足1110，那么utf-8的解码器，就要求其后的两个字节的前两位都必须是10。若不满足此格式，就会产生解码失败，utf-8解码器使用：0xEF 0xBF 0xBD（这三个字符表示一个“�”）来代替第一个字节，并对第二个字节进行解码，以此类推。

正是因为存在解码失败的可能性，所以当我们误把一个gbk编码的汉字，以utf-8来解码时，就有可能得到“�”字符，即乱码。而且，一旦把gbk误当成utf-8来解码，就有可能把一个汉字的gbk码变成：0xEF 0xBF 0xBD，造成信息的丢失，无法逆向恢复！

 

在使用java的String类时，这个问题，非常明显：

String org_str = "我";         //假设java环境的内部编码，已经设置为utf-8

byte[] gbk_byte1 = org.getBytes("gbk");

String err_str = new String(gbk_byte, "utf-8");      //把一个gbk的byte组数，当成utf-8来解码，将造成信息丢失

byte[] gbk_byte2 = err_str.getBytes("gbk");         //比较后，会发现gbk_byte1与gbk_byte2已经不一致。

把org_str与err_str这两个字符串打印出来，结果如下：

org_str: 我

err_str: ��

因为“我”字的gbk编码里，有两个字节：

0xCE 0xD2    =>    11001110 11010010

而utf-8在解码时，遇到11001110时，因为前缀为110，它期望下一个字节的格式为：10xxxxxx，显然不满足所以使用“�”来代替，然后继续解码下一个字节；解码第二字节时，也是同样的错误，所以产生了两个了“�”。

看完这篇文章，有点明白了在http参数传递过程中的问题（在我的另一篇文章中疑惑的问题）。

就是说如果get参数按照gbk编码，如果在tomcat中设置了URIEncoding=“utf-8”,那么就会产生中文数据的不可恢复性。所以在controller类中，如何转换都会是乱码。

为什么说iso-8859-1是无损的数据呢。iso-8859-1是单字节编码，所以在iso-8859-1传输过程中，即便是按照iso-8859-1进行了解码，虽然出现乱码，也可以进行数据的恢复。原因是单字节的编码没有引起字节的变化，我们还可以通过iso-8859-1来解码得到字节数字，再按照相应的编码解码，就得到了原始的中文数据。

 

http://www.blogjava.net/pengpenglin/archive/2010/02/16/313177.html