python学习笔记-编码转化
来源:互联网 发布:软件开发项目管理办法 编辑:程序博客网 时间:2024/05/26 12:03
unicode 中文和英文都占2个字节
ascii 用来存储英文的,占一个字节
如果用unicode来存储英文的话,那么本来1M的ascii文件就要变成2M。所以用可变长字符编码utf-8来存储,英文仍是以ascii形式存储,为1字节。中文的话就需要3个字节存储一个汉字。
因为py3中的字符串类似于py2中的str.decode(‘utf-8’)类型,所以py3的字符串只有encode方法(py3默认的编码格式是utf-8,py2是ascii)。
UTF-8编码:是对Unicode编码的压缩和优化,他不再使用最少使用2个字节,而是将所有的字符和符号进行分类:ascii码中的内容用1个字节保存、欧洲的字符用2个字节保存,东亚的字符用3个字节保存。
上图:第一行表示读取本py文件中的内容都是以utf-8读取的,如果将第5行的字符串转换成unicode,该str还是能正常显示;但是,在gbk模式下 那么unicode就不能正常显示了(这个gbk不知道是不是指在第一行加入#-- coding:gbk --,貌似这样写-- coding:gbk --不正确)。xshell的编码格式应该是终端显示的编码格式,并不能影响到在py脚本中的编码格式。(注:print(s_to_unicode,1)这样打印出的结果就是元祖形式了(u’\u4e2d\u6587’, 1))
在py3中
先把文件转为gbk格式,然后就可以在第一行加入注释#coding:gbk。虽然文件是gbk格式,但是s字符串还是unicode格式,所以可以先编码成gbk模式,然后在解码成unicode模式就可以输出中文了。
py2x和py3x的区别
2和3对于unicode编码都不能用chardet.detect。因为2x的默认中文是utf-8形式,所以可以chardet.detect(str),3x的是unicode,不能用chardet.detect(str)。2x的utf-8和unicode都能正常显示中文,但是3x只有unicode能显示中文,如果编码成utf-8只能显示字节形式。
参考链接:http://www.cnblogs.com/luotianshuai/articles/5735051.html
- python学习笔记-编码转化
- python 学习笔记-----编码问题
- Python 编码知识学习笔记
- Python学习笔记 --- 编码问题
- python学习笔记--关于编码
- python学习笔记一(python 编码)
- Python学习笔记 --- Python 编码规范
- python学习笔记-字符串和编码
- Python学习笔记 - 字符串和编码
- 【python学习笔记】浅探编码
- Python学习笔记—字符串和编码
- Python学习笔记:中文编码问题
- 【Python学习笔记】字符串和编码
- 廖雪峰python学习笔记5:编码
- python学习笔记(七):编码方式
- Python学习笔记 --- 判断文件编码
- Python学习笔记(3)---数据编码
- Python Pylint编码规范学习笔记-1
- vue 资料合集
- Python学习基础(一)列表(1)
- 百度开源的Warp-CTC人工智能技术,到底是什么鬼?
- [批处理命令一日一教学 续](23)更换CMD窗口的颜色:color
- group by 不会用
- python学习笔记-编码转化
- extjs 查询数据
- Notes
- 22
- freopen
- 卡尔曼滤波——迭代过程
- 欢迎使用CSDN-markdown编辑器
- Advanced Installer 数据库连接字段参数和返回参数
- erlang 读取utf-8 BOM 问题