Python处理中文

用Python写了个从一堆中文微博中抽取电影票房数据的程序，处理中文编码问题非常麻烦，有以下经验：

1，在正则表达式中的中文应该用\uXXXX的形式，正则表达式字符串还要以ur为前缀（u表示unicode，r表示raw，即忽略C++形式的转义字符）。

2，各种编码都统一成UTF8的时候世界终于清静了

4，源码开头要加这样几行:

# coding=utf8import sysreload(sys)sys.setdefaultencoding('utf-8')

（注意：如果加了第一行，那么代码文件本身也需要时UTF-8编码，且不带BOM）

5，从一个utf8文件读出来的每一行文本都要调用 line.decode('utf8')

      注意这个函数并不修改字符串对象本身，而是返回一个解码后的新对象

对Python程序字符编码涉及层面的一个推测：

分成三层，应用程序层面、Python解释器层面、系统层面。

应用程序层面的编码可以控制。

Python解释器层面好像是unicode编码，在它看来其他字符编码都是把字符串“encode”了。所以python自带的字符串decode函数意义是：按照参数指定的编码格式，把字符串转换（解码）成解释器自己的编码格式（即unicode格式）。而encode的意思是把字符串从解释器的内部编码格式（即unicode）编码成参数所指定的编码格式的字符串。