Python爬虫的一个编码问题

今天在爬取“http://news.baidu.com/ns?word=博时杨锐”这个网页的时候，

程序报错：UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)

我以为这是程序编码的问题。

结果根据报错的代码寻找到的结果发现，只有python2.x才会出现这个问题。并且通过函数

import importlib,sysimportlib.reload(sys)print(sys.getdefaultencoding())

获取我们解释器用的编码确实是utf-8，和网页编码一致

通过单步调试，发现问题出在函数urllib.request.urlopen()

urllib.request.urlopen()打开带有中文的网页会报错。

所以需要先用urllib.parse.quote()对链接中的中文进行处理

root_url = "http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=" + urllib.parse.quote("博时杨睿")

这样，这个问题就解决了。