python中文编码问题

为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。

字符串在Python内部的表示是unicode 编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致 。

如：s='中文'

如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需 要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默 认编码创建的代码文件。

如果字符串是这样定义：s=u'中文'

则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。因此，对于这种情况做编码转换，只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：

isinstance(s, unicode) #用来判断是否为unicode

用非unicode编码形式的str来encode会报错

如何获得系统的默认编码 ？

#!/usr/bin/env python

#coding=utf-8

import sys

print sys.getdefaultencoding()

该段程序在英文WindowsXP 上输出为：ascii

在某些IDE中，字符串的输出总是出现乱码，甚至错误，其实是由于IDE的结果输出控制台自身不能显示字符串的编码，而不是程序本身的问题。

如在UliPad中运行如下代码：

s=u"中文"

print s

会提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。这是因为UliPad在英文WindowsXP 上的控制台信息输出窗口是按照ascii编码输出的（英文系统的默认编码是ascii），而上面代码中的字符串是Unicode编码的，所以输出时产生了错误。

将最后一句改为：print s.encode('gb2312')

则能正确输出“中文”两个字。

若最后一句改为：print s.encode('utf8')

则输出：\xe4\xb8\xad\xe6\x96\x87，这是控制台信息输出窗口按照ascii编码输出utf8编码的字符串的结果。

unicode(str,'gb2312')与str.decode('gb2312')是一样的，都是将gb2312编码的str转为unicode编码

使用str.__class__可以查看str的编码形式

原理说了半天，最后来个包治百病的吧：）

复制代码 代码如下:

#!/usr/bin/env python 

#coding=utf-8 

s="中文" 

if isinstance(s, unicode): 

#s=u"中文" 

print s.encode('gb2312') 

else: 

#s="中文" 

print s.decode('utf-8').encode('gb2312')

感谢wolfmaster的分享：http://wolfmaster.iteye.com/blog/638029

 

 

 

Python中文乱码

 

转载：http://quickbest.com.cn/discuz/thread-38962-1-1.html

估计入门时都会遇到的。我是在windows下用的Python25自带的IDLE编辑运行的，发现运行脚本得出的结果有一些中文显示是乱码，但有一些是正常的。百思不得其解。首先查看了一下源文件的编码格式，是UTF-8。经过搜索再搜索，调试再调试，也换了几个编译器，发现比IDLE还糟糕（可能需要进行encode设置）。问题终于解决了，一共花了俺将近5个小时，写在这里，希望遇到问题的人能搜索到这里，不再重犯。

乱码原因：
因为你的文件声明为utf-8，并且也应该是用utf-8的编码保存的源文件。但是windows的本地默认编码是cp936，也就是gbk编码，所以在控制台

直接打印utf-8的字符串当然是乱码了。

解决方法：
在控制台打印的地方用一个转码就ok了，打印的时候这么写：
print myname.decode('UTF-8').encode('GBK')

比较通用的方法应该是：
import sys
type = sys.getfilesystemencoding()
print myname.decode('UTF-8').encode(type)

 

Django网页中文乱码问题的解决 2008-04-04

来源：点击进入
2008年04月04日 星期五 22:30

问题的提出：
写了一个py文件，含有中文，文件的开头写有#coding=utf-8。
写了一个对应处理的template，都含有中文。
最后显示网页时，用utf-8编码查看却为乱码，再用GBK编码查看，则显示正常。

问题的解决：
这是一个小小的低级错误。我是用ultraedit写html文件的，保存时估计默认保存为GBK编码了。换成记事本去写，保存时选择utf-8编码就可以了。

 

 

又是中文编码问题 2008-07-16

来源：点击进入
2008年07月16日 星期三 14:28

"UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)"

看了半天html模板，都是unicode编码，没有编码问题。但是输入中文的时候就出现这样的错误了。
解决办法，在该python文件的前面加上如下几句，问题得到解决。

import sys
default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
    reload(sys)
    sys.setdefaultencoding(default_encoding)

Django调试小结 2008-04-16

来源：点击进入
2008年04月16日 星期三 10:28

1、 遇到中文编码，统一用utf-8编码处理
所有的调试、编辑器都要默认使用utf-8格式存文件。
所有含有中文的py文件，第一行要写上#coding=utf-8
如果引进了别人的非utf-8文件，例如teset.html，可以使用记事本打开，另存为utf-8格式。

2、 每加入一个新的app，只要有model.py，一律要重建数据库，执行命令manage.py syncd

MySQLdb中文乱码问题的解决(Python) 2008-05-28

来源：点击进入
2008年05月28日 星期三 23:22

     写了一个简单的脚本，将我的数据整理到Mysql中去。遇到了乱码问题，改了一下，很快就解决了。连接mysql时要注意注明是utf-8字符集，所有中文都要是utf-8，如果有GBK也要先转换成utf-8，把握这个原则，中文乱码问题是不会有的。

转换脚本如下：

#-*- coding: utf-8 -*-，
#coding = utf-8

import MySQLdb,os

def wgdata2DB():
    print "Convert weg game data to mysql"
    db=MySQLdb.connect(host='localhost',      #连接数据库
                      user='root',
                      passwd='123456',
                      db='testdb',
                      charset="utf8")     ＃这里要注明是utf8字符集，文件开头最好也加上utf-8的声明

    cursor=db.cursor()
     
    if os.path.exists('test.dat'):
        rFile = open('test.dat', 'r')
        lines = rFile.readlines()
        rFile.close()
      
        loop = 0
        for line in lines:
            print "handle line:%d" % (loop)
            myset = line.split(' ')
            
            sqlstr = "INSERT INTO wg_Content (type,title,url,speed,des,size) VALUES('%s','%s','%s','%s','%s','%s')" \
                %(myset[0],myset[1],myset[2],myset[3],myset[4],myset[5])
            cursor.execute(sqlstr)
            loop += 1           
            db.commit()
    cursor.close()
    db.close()

 

Python字符集编码和文件读写 2008-04-18

来源：点击进入
2008年04月18日 星期五 11:18

字符串编码

---

python中默认编码是ASCII，可以通过以下方式设置和获取：

import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('gbk')

但直到python重新启动后新的默认编码才会生效，我试了一下，setdefaultencoding总是会出错，没有这个属性。用dir看，确实没有，python版本是2.5，不知道是否被取消了。

使用print来输出时，python将内容传递给系统处理，windows会按照系统默认编码来输出。如果包含了中文，就要注意几点。

1 python代码文件的编码
py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：

1 # coding=gbk
2 print'中文'

2 字符串的编码
像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

3 系统的默认编码
对于中文系统来说，默认的是gbk，gb2312也可以，因为它是gbk的字集。使用print输出时，字符串会被转换成此格式，隐式转换时，是从代码文件编码格式转换成gbk，默认是ASCII->GBK。考虑上面第二点，如果字符串编码不是ASCII，则隐式转换会出错，需要显式转换，使用 encode方法。如果指定了代码文件格式为gbk，则隐式转换不存在问题。

1 # coding=gbk
2
3 s = u'中文'
4 print s.encode('gbk')

文件读写

---

只是ASCII或者gbk编码格式的的文件读写，比较简单，读写如下：

1 # coding=gbk
2
3 f = open('c:/intimate.txt','r')# r 指示文件打开模式，即只读
4 s1 = f.read()
5 s2 = f.readline()
6 s3 = f.readlines() #读出所有内容
7
8 f.close()
9
10 f = open('c:/intimate.txt','w')# w 写文件
11 f.write(s1)
12 f.writelines(s2)# 没有writeline
13 f.close()

f.writelines不会输出换行符。
unicode文件读写：

1 # coding=gbk
2 import codecs
3
4 f = codecs.open('c:/intimate.txt','a','utf-8')
5 f.write(u'中文')
6 s ='中文'
7 f.write(s.decode('gbk'))
8 f.close()
9
10 f = codecs.open('c:/intimate.txt','r','utf-8')
11 s = f.readlines()
12 f.close()
13 for linein s:
14     print line.encode('gbk')