python 处理中文
来源:互联网 发布:软件行业就业前景 编辑:程序博客网 时间:2024/05/21 16:56
python里面默认的字符串都是ASCII编码,是string类型,ASCII编码处理中文字符是会出问题的。python的内部编码格式是unicode,在字符串前加‘u’前缀也可直接声明unicode字符串,如 u’hello’就是unicode类型。
如果处理的字符串中出现非ascii码表示的字符,要想不出错,就得转成unicode编码了。具体的方法有:
decode(),将其他边编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码;
encode(),将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串str2转换成gb2312编码;
unicode(),同decode(),将其他编码的字符串转换成unicode编码,如unicode(str3, ‘gb2312’),表示将gb2312编码的字符串str3转换成unicode编码。
转码的时候一定要先搞明白字符串str是什么编码,然后decode成unicode,最后再encode成其他编码。
另外,对一个unicode编码的字符串在进行解码会出错,所以在编码未知的情况下要先判断其编码方式是否为unicode,可以用isinstance(str, unicode)。
不仅是中文,以后处理含非ascii编码的字符串时,都可以遵循以下步骤:
1、确定源字符的编码格式,假设是utf8;
2、使用unicode()或decode()转换成unicode编码,如str1.decode(‘utf8’),或者unicode(str1, ‘utf8’);
3、把处理后字符串用encode()编码成指定格式。
- python中文处理
- python中文字符串处理
- Python的中文处理
- ZZ python处理中文
- [转贴]:Python中文处理
- python中文处理
- Python的中文处理
- python处理中文字符
- python中文处理
- Python:中文处理小结
- Python:中文处理攻略
- Python处理中文路径
- python中文处理
- Python的中文处理
- python 处理中文Excel
- Python处理中文
- Python 中文处理
- Python的中文处理
- 预处理指令
- CAP原理和BASE思想
- ngx_lua常用变量参数
- 文本数据的机器学习自动分类方法(下)
- Android JNI开发摘录(五)之对象引用处理
- python 处理中文
- 维基百科简体中文语料的获取
- Redy语法分析--语句与复合语句结点
- 广播电视相关信息系统 安全等级保护基本要求
- Spring学习笔记(一)
- js数组去重的4个方法+1
- Storm-0.10.0集群安装
- 直接控制OSG摄像机移动
- Android AsyncTask原理-源码层分析