学习爬虫：Non-ASCII character '\xe8' in file

学习爬虫时遇到的问题

源代码如下

import cookielib
import urllib2
filename = 'cookie.txt'
cookie = cookielib.MozillaCookieJar(filename)
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
response = opener.open("http://www.baidu.com")
cookie.save(ignore_discard=True, ignore_expires=True)

错误代码：

SyntaxError: Non-ASCII character '\xe8' in file

解决方法

#encoding:utf-8

import cookielib
import urllib2
filename = 'cookie.txt'
cookie = cookielib.MozillaCookieJar(filename)
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
response = opener.open("http://www.baidu.com")
cookie.save(ignore_discard=True, ignore_expires=True)

Python内部的字符串一般都是 Unicode编码。代码中字符串的默认编码与代码文件本身的编码是一致的。所以要做一些编码转换通常是要以Unicode作为中间编码进行转换的，先将其他编码的字符串解码（decode）成 Unicode，再从 Unicode编码（encode）成另一种编码。

• decode 的作用是将其他编码的字符串转换成Unicode编码，比如：name.decode(“GB2312”)，表示将GB2312编码的字符串name转换成Unicode编码
• encode 的作用是将Unicode编码转换成其他编码的字符串，比如：name.encode(”GB2312“)，表示将GB2312编码的字符串name转换成GB2312编码

所以在进行编码转换的时候必须先知道 name 是那种编码，然后 decode 成 Unicode 编码，最后载 encode 成需要编码的编码。当然了，如果 name 已经就是 Unicode 编码了，那么就不需要进行 decode 进行解码转换了，直接用 encode 就可以编码成你所需要的编码。对 Unicode 进行编码和对 str 进行编码都是错误的。