Java中的UTF-8、UTF-16编码字符所占字节数

前言：上一篇文章写了关于Unicode，以及utf-8、utf-16相关知识。所以本篇博文来验证在java环境下，字符在不同编码下所占的字计数。

测试代码如下：

package string;public class CharByteTest {    public static void main(String[] args) throws Exception {        // 第二个字符为BMP之外的字符，csdn编辑器无法显示该字符，可以在运行结果截图中看到        String[] strArr = {"中", "��", "a", "aa"};        String[] charsetArr = {"gbk", "utf-8", "utf-16", "gb2312"};        for(String str : strArr) {            System.out.println(str);            for(String charset : charsetArr) {                byteTest(str, charset);            }            System.out.println("============================");        }    }    public static void byteTest(String str, String charset) throws Exception {        System.out.println("编码：" + charset                 + "\t所占字节数：" + str.getBytes(charset).length);    }}

运行结果如下：

在前一篇文章的基础上，我们来分析一下运行结果。

1. “中”字的unicode码值为4E2D，使用UTF-8编码占3个字节。由于该字符位于BMP内，所以使用UTF-16编码应该占2个字节，但是运行结果为4个字节。
2. 第二个字符（csdn编辑器不支持该字符的显示），该字符使用UTF-8应该占4个字节，运行结果正确。由于该字符位于BMP外，所以使用UTF-16编码应该占4个自己，但是运行结果显示占用了6个字节。
3. 英文字母a，UTF-8编码应该和ASCII编码相同占用一个字节，运行结果显示占用一个字节。a在Unicode中位于BMP内，所以UTF-16编码应该占用4个字节，但是运行结果缺显示4个字节。
4. 按照上面的运行结果，a在UTF-8编码下占用1个字节，在UTF-16编码下占用4个字节。那么猜测两个英文字母a，即”aa“在UTF-8和UTF-16编码下应该分别占2个和8个字节，但是运行结果却和想象中的不一样，aa在UTF-16编码下工占6个字节。

运行结果好像和上一篇中讲到的有点不相符啊！为什么会出现这样的结果的？

通过搜索相关文章，了解到java的字节码文件（.class）文件采用的是UTF-8编码，但是在java 运行时会使用UTF-16编码。在转码的时候会在前面加上表示字节顺序的字符，这个字符称为”零宽度非换行空格”（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。FEFF占用两个字节，所以就解释了为什么java环境下英文字母a在UTF-16编码占3个字节。

我们不妨将这些字符的在不同编码下的二进制转换为16进制并打印出来。
将代码修改如下：

package string;public class CharByteTest {    private static char[] HEX_CHAR = {'0', '1', '2', '3', '4',            '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f'};    public static void main(String[] args) throws Exception {        String[] strArr = {"中", "��", "a", "aa"};        //String[] charsetArr = {"gbk", "utf-8", "utf-16", "gb2312"};        String[] charsetArr = {"unicode", "utf-8", "utf-16", "utf-16BE", "utf-16LE"};        for(String str : strArr) {            System.out.println(str);            for(String charset : charsetArr) {                byteTest(str, charset);            }            System.out.println("============================");        }    }    public static void byteTest(String str, String charset) throws Exception {        byte[] strByte = str.getBytes(charset);        System.out.println("编码：" + charset                 + "\t所占字节数：" + strByte.length                + "\t16进制：" + bytesToHexStr(strByte));    }    // 将byte[]用十六进制字符串    public static String bytesToHexStr(byte[] bytes) {        int index = 0;        char[] hexChar = new char[bytes.length * 2];        for(int i = 0; i < bytes.length; i++) {            hexChar[index++] = HEX_CHAR[bytes[i] >> 4 & 0xF];            hexChar[index++] = HEX_CHAR[bytes[i] & 0xF];        }        return new String(hexChar);    }}

运行结果：