unicode和utf8的区别

之前一直对字符的格式都没有了解，直到昨天看了一下ngx的utf8decode函数，完全看不懂，而且近来编译程序也遇到了很多字符格式的问题。所以就查询了一下字符的格式具体含义，不得不说知乎真的是个好地方！！

1.二者的区别

unicode是字符的编码格式，从u0000到u10FFFF，至少100多万的符号表示，里面的每一个二进制的数都唯一表示一个符号

utf8即Unicode Transformation Format 8bit。它是在unicode上层的封装，每个符号大小有1～6字节不等。

2.为什么要有utf8这种格式呢？

就是因为在网络传输中使用unicode可能会浪费一些空间，因为对于英文字符本身最多1个字节表示就够了，但是unicode是2～3字节编码，所以为了节约网络的带宽，出现了uft8格式，对于英文字符一个字节就够了，并且在unicode的基础上做了一些封装，解决了一个符号多个字节计算机怎么识别的问题。

3.举个例子

作者：uuspider
链接：https://www.zhihu.com/question/23374078/answer/65352538
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

It’s 知乎日报你看到的unicode字符集是这样的编码表：I 0049
t 0074
’ 0027
s 0073
0020
知 77e5
乎 4e4e
日 65e5
报 62a5
每一个字符对应一个十六进制数字。计算机只懂二进制，因此，严格按照unicode的方式(UCS-2)，应该这样存储：I 00000000 01001001
t 00000000 01110100
’ 00000000 00100111
s 00000000 01110011
00000000 00100000
知 01110111 11100101
乎 01001110 01001110
日 01100101 11100101
报 01100010 10100101
这个字符串总共占用了18个字节，但是对比中英文的二进制码，可以发现，英文前9位都是0！浪费啊，浪费硬盘，浪费流量。怎么办？UTF。

UTF-8是这样做的：

1. 单字节的字符，字节的第一位设为0，对于英语文本，UTF-8码只占用一个字节，和ASCII码完全相同；
2. n个字节的字符(n>1)，第一个字节的前n位设为1，第n+1位设为0，后面字节的前两位都设为10，这n个字节的其余空位填充该字符unicode码，高位用0补足。这样就形成了如下的UTF-8标记位：0xxxxxxx110xxxxx 10xxxxxx1110xxxx 10xxxxxx 10xxxxxx11110xxx 10xxxxxx 10xxxxxx 10xxxxxx111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx… …

于是，”It’s 知乎日报“就变成了：I 01001001
t 01110100
’ 00100111
s 01110011
00100000
知 11100111 10011111 10100101
乎 11100100 10111001 10001110
日 11100110 10010111 10100101
报 11100110 10001010 10100101
和上边的方案对比一下，英文短了，每个中文字符却多用了一个字节。但是整个字符串只用了17个字节，比上边的18个短了一点点。下边是课后作业：请将”It’s 知乎日报“的GB2312和GBK码(自行google)转成二进制。不考虑历史因素，从技术角度解释为什么在unicode和UTF-8大行其道的同时，GB2312和GBK仍在广泛使用。
剧透：一切都是为了节省你的硬盘和流量。