Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案
来源:互联网 发布:淘宝账号怎么注销掉 编辑:程序博客网 时间:2024/06/05 14:24
0x00 问题引出:
最近在做一个买房自动化分析Python脚本,需要爬取网页。
在使用urllib获取reqest的response的时候,还要进行解码。
见语句:
result = res.decode('utf-8')
当执行该语句的时候,会造成异常:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 103339: invalid continuation byte
0x01 问题分析
该情况是由于出现了无法进行转换的 二进制数据 造成的,可以写一个小的脚本来判断下,是整体的字符集参数选择上出现了问题,还是出现了部分的无法转换的二进制块:
#python3#以读入文件为例:f = open("data.txt","rb")#二进制格式读文件while True: line = f.readline() if not line: break else: try: #print(line.decode('utf8')) line.decode('utf8') #为了暴露出错误,最好此处不print except: print(str(line))
手写了一段代码,可以通过这段代码的输出来判断哪里出现了问题。
- 1.如果输出的代码都是hex形式的,可能就是你选择的解码字符集出现了错误。 对于python2.7版本的来说,网上有使用这样一种看上去很霸气,其实很low的方式,来处理:
#coding=utf8import sysreload(sys)sys.setdefaultxxxx("utf8")
其实,这可以看作是python2系列版本的小bug,需要自行重新设置一下默认的编码字符集,如果还要这么设置的话,decode()的参数还拿来干嘛。
所以,在python3版本中,就已经取消了这个方法。
- 2.如果是字符集出现错误,建议多选择几种字符集测试一下: 选择的经验是: 如果是爬取到的网页文件,可以查看网页文件的meta标签下的charset属性值。
例如:
<meta charset="UTF-8">
也可以使用notepad++打开,查看下右下角的部位,会指示该文件是那种编码。
- 3.有的情况,是这样的,整个文件是好的,如果用notepad++打开后,能够看到文件是可以打开的,似乎什么问题都没有发生过,但是,用python进行解码的时候,却会出现错误。
我们运行上面的测试脚本,可以看到出现这样的情况:
<li id="J_menuHistory" data-page="J_pageHistory"> <a><i class="icon-history"></i>播放历史 \0xe5 </a>
当然,这段代码是我随手写的一个例子,这里,可以注意看到这个0xe5,这是无法转换出来的部分,这是不属于编码字符集中的部分。所以,在进行编码转换的时候,会报错。
0x03 解决方法
- 修改字符集参数,一般这种情况出现得较多是在国标码(GBK)和utf8之间选择出现了问题。
- 出现异常报错是由于设置了decode()方法的第二个参数errors为严格(strict)形式造成的,因为默认就是这个参数,将其更改为ignore等即可。例如:
line.decode("utf8","ignore")
阅读全文
0 0
- Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案
- Python3.x 使用pip install pylint时报UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5
- python 网络爬虫报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position”解决方案
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 114: invalid continuation byte
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcd in position 0: invalid continuation byte
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 3: invalid continuation byte
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 12: invalid continuation byte
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte
- 解决UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5
- 解决UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa8 in position 怎么办
- pandas读取出错:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 167
- UnicodeDecodeError: 'utf8' codec can't decode byte
- webpy 解决中文出现UnicodeDecodeError: 'ascii' codec can't decode byte 问题
- 解决使用中文出现UnicodeDecodeError: 'ascii' codec can't decode byte 的问题
- UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte解决方法
- error UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
- OPC介绍
- ubuntu下使用GeographicLib库
- JQuery基础(一)样式篇
- leetcode.array--34. Search for a Range
- 【转】MovieTaster-使用Item2Vec做电影
- Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案
- 背包问题
- QT
- Qt更改图标
- 数据结构5-最小生成树Prim算法
- 大致计划《2017-10》
- hibernate注解开发相关
- 最小二乘法(least square method)的直观认识
- TCP与UDP的完整区别