python 编码,decode() ,encode() 用法区别

来源:互联网 发布:怎么用手机禁网络 编辑:程序博客网 时间:2024/06/10 04:52

python 编码

ASCII码 表示127个英文字符

每个中文需要使用两个字节来编码,中文编码的规则 —— GB2312
由于不同国家有不同的编码规则,如日本,韩国都使用各自国家的编码规则,在多语言混用的场合会出现混乱。

Unicode 用来把所有语言都统一到一套编码里,这样就不会再有乱码问题了。

Unicode 通常用两个字节编码(有的也用四个字节),而ASCII码通常用一个字节字节

ASCII码转换成Unicode在前面一个字节补0

UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间

UTF-8的一个好处在于,原有的ASCII的编码可以在UTF-8下继续工作。

搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:

在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。

用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:

rw-file-utf-8

浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:

web-utf-8

所以你看到很多网页的源码上会有类似的信息,表示该网页正是用的UTF-8编码。

首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串转换成gb2312编码。

0 0