Unicode与UTF-8的区别理解

近期用Python读取txt 文件时遇到一些小坑，涉及到文件编码问题。

因此梳理编码中Unicode与常见的UTF-8编码的区别。

先贴总结：

Unicode：

全称Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “unicode“，由国际标准化组织ISO制定，目的是标准化一个字符集：为地球上每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point

广义的 Unicode 是一个标准，定义了一个字符集以及一系列的编码规则，即 Unicode 字符集和 UTF-8、UTF-16、UTF-32 等等编码……

UTF-8:

为解决unicode如何在网络上传输的问题，于是面向传输的众多UTF（UCS Transfer Format）标准，即可变长度编码方式出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。设计的出发点是：节省网络传输的代价，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储空间来说是极大的浪费，文本文件的大小会因此大出二三倍，这是难以接受的。

有一个形象的比喻；

用通信理论的思路可以理解为:
unicode是信源编码，对字符集数字化;
utf8是信道编码，为更好的存储和传输。

例子：（来自知乎，侵权删..

你看到的unicode字符集是这样的编码表：

I 0049t 0074' 0027s 0073  0020知 77e5乎 4e4e日 65e5报 62a5

每一个字符对应一个十六进制数字。

计算机只懂二进制，因此，严格按照unicode的方式(UCS-2)，应该这样存储：

I 00000000 01001001t 00000000 01110100' 00000000 00100111s 00000000 01110011  00000000 00100000知 01110111 11100101乎 01001110 01001110日 01100101 11100101报 01100010 10100101

这个字符串总共占用了18个字节，但是对比中英文的二进制码，可以发现，英文前9位都是0！浪费啊，浪费硬盘，浪费流量。

怎么办？

UTF。

UTF-8是这样做的：

1. 单字节的字符，字节的第一位设为0，对于英语文本，UTF-8码只占用一个字节，和ASCII码完全相同；

2. n个字节的字符(n>1)，第一个字节的前n位设为1，第n+1位设为0，后面字节的前两位都设为10，这n个字节的其余空位填充该字符unicode码，高位用0补足。

这样就形成了如下的UTF-8标记位：

0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
... ...

于是，”It's 知乎日报“就变成了：

I 01001001t 01110100' 00100111s 01110011  00100000知 11100111 10011111 10100101乎 11100100 10111001 10001110日 11100110 10010111 10100101报 11100110 10001010 10100101

和上边的方案对比一下，英文短了，每个中文字符却多用了一个字节。但是整个字符串只用了17个字节，比上边的18个短了一点点。

此外，除了UTF-8 通用的传输编码方式外，还有计算机历史原因而存在的一些其他编码方式；

最早计算机在美国使用，因此有ANSI的”Ascii”编码（American Standard Code for Information Interchange，美国信息互换标准代码。用于表示英文文字。

后来，加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称”扩展字符集。

后来，加入汉字编码的“GB2312“。GB2312 是对 ASCII 的中文扩展。

后来，扩展了近20000个新的汉字（包括繁体字）和符号的GBK标准。

再扩展，又加了几千个新的少数民族的字，GBK扩成了GB18030。

从此之后，中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 “DBCS“（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里。

后来，为了统一各个地区编码方案，ISO才制定了Unicode字符集。