python使用requests爬网页编码问题

来源:互联网 发布:spss mac和spss的区别 编辑:程序博客网 时间:2024/06/05 12:06

当我们使用requests爬网页的时候,如

html = requests.get(url).textprint html

会报以下编码错误:

UnicodeEncodeError: 'gbk' codec can't encode character u'\x82' in position 71: illegal multibyte sequence

这时我们只要稍微修改一下,将text改为content,如

html = requests.get(ori_url).contentprint html.decode('utf-8')

就可以了,此时htmlutf-8编码的str