python之字符编码

来源:互联网 发布:怎么在淘宝雇佣水军 编辑:程序博客网 时间:2024/06/06 17:48

发现写了前两小篇文章都忘了写标题……..:))

UTF-8编码与ASCII码、Unicode的关系

ASCII码是起初的统一编码表,但只有127个编码,用来处理中文或者其他国家文字很不方便。
Unicode应运出现,把所有的语言统一到一套编码里,解决了乱码问题,常用两个字节表示一个字符。现代操作系统和大多数的编程语言都支持Unicode。如果用Unicode编码ASCII码,只需在前边补满0。
例如把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是00000000 01000001。但是如果编写的文本大多数是英文的话,Unicode比ASCII码多占用几乎一倍的空间,存储和传输很不划算。
于是能把Unicode转化为“可变长编码“的UTF-8编码出现了~~UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。,UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

计算机系统中通用的字符编码方式

在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件。浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器。
* python源代码也是文本文件,当代码中包含有中文的时候,切记保存为UTF-8编码。
#!/usr/bin/env python
#-*-coding: utf-8 -*-

这两句注释通常加到代码开头,表示代码采用UTF-8编码模式