Python 3 UnicodeEncodeError: 'gbk' codec can't encode错误的解决

来源：互联网发布：node js ide 编辑：程序博客网时间：2024/05/21 04:56

正在Windows上用Python 3 写一个爬虫，但是读取网页内容并且把网页内容写进txt文件的时候，出现了这个异常：

UnicodeEncodeError: 'gbk' codec can't encode character '\ue626' in position 94025: illegal multibyte sequence

Google一圈，发现几乎都是一篇东西或者一个解决方法转来转去，基本上都是encode或者decode的时候在括号里面加一个ignore参数，目的是想忽略掉无法编码的字符，感觉不算是解决问题，而是回避了问题，于是再一圈搜，搜到这个：

http://www.cnblogs.com/wangxingyao/p/4662543.html

看完之后发现，问题的原因在于Python 3里面字符串的默认编码是Unicode的，参考这里：

http://stackoverflow.com/questions/6812031/how-to-make-unicode-string-with-python3

而爬虫读取的网页上面的内容，在代码里面是存在字符串变量里的，Windows下面新建的文本文件默认的编码是gbk（Windows简体中文版的系统默认编码就是gbk），当把从网页上读取的内容写到文本文件里面去的时候，意味着把一个unicode的字符序列写入到一个编码是gbk的文件，最后就出错了，解决方法就是在打开一个文件的时候，指定文件的编码，让它以指定的编码打开：

with open('e:/test.txt', encoding='utf-8') as f:    f.write(content)

0 0