python urllib解析网页编码出错

问题描述：在用urllib解析网页的时候，有时候的编码并不是网页中的编码（如下）。
<meta http-equiv="Content-Type" content="text/html; charset=gbk" />

解决过程
尝试检查编码

import chardetreq = urllib2.Request(url)data = urllib2.urlopen(req).read()det = chardet.detect(data)###{'confidence': 0.511502818949318, 'encoding': 'ISO-8859-2'}

我们可以看到编码是西欧的编码（可自己百度百科），不是我们想要的，接下来就是查各种资料。

答案
通过查资料，找到了一个解决方法，尝试成功，

data = urllib2.urlopen(req).read().decode('gbk','ignore').encode('utf-8')

原因
刚找到了问题所在，这是因为html中混入了非法字符，导致chardet.detect(data)辨认错误
直接decode(‘gbk’,’ignore’).encode(‘utf-8’)应该就可以解决