Python解决抓取内容乱码问题(decode和encode解码)
来源:互联网 发布:网络四十禁书在线阅读 编辑:程序博客网 时间:2024/05/18 03:56
一、乱码问题描述
经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下
原因是源网页编码和爬取下来后的编码格式不一致
二、利用encode与decode解决乱码问题
字符串在Python内部的表示是unicode编码,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘utf-8’),表示将unicode编码的字符串str2转换成utf-8编码。
decode中写的就是想抓取的网页的编码,encode即自己想设置的编码
代码如下
#!/usr/bin/env python# -*- coding:utf-8 -*-# author: xulinjie time:2017/10/22import urllib2request=urllib2.Request(r'http://nhxy.zjxu.edu.cn/')RES=urllib2.urlopen(request).read()RES = RES.decode('gb2312').encode('utf-8')//解决乱码wfile=open(r'./1.html',r'wb')wfile.write(RES)wfile.close()print RES
或者
#!/usr/bin/env python# -*- coding:utf-8 -*-# author: xulinjie time:2017/10/22import urllib2request=urllib2.Request(r'http://nhxy.zjxu.edu.cn/')RES=urllib2.urlopen(request).read()RES=RES.decode('gb2312')RES=RES.encode('utf-8')wfile=open(r'./1.html',r'wb')wfile.write(RES)wfile.close()print RES
但是还要注意:
如果一个字符串已经是unicode了,再进行解码则将出错,因此通常要对其编码方式是否为unicode进行判断
isinstance(s, unicode)#用来判断是否为unicode
用非unicode编码形式的str来encode会报错
所以最终可靠代码:
#!/usr/bin/env python# -*- coding:utf-8 -*-# author: xulinjie time:2017/10/22import urllib2request=urllib2.Request(r'http://nhxy.zjxu.edu.cn/')RES=urllib2.urlopen(request).read()if isinstance(RES, unicode): RES=RES.encode('utf-8')else: RES=RES.decode('gb2312').encode('utf-8')wfile=open(r'./1.html',r'wb')wfile.write(RES)wfile.close()print RES
三、如何找到需要抓取的目标网页的编码格式
1、查看网页源代码
如果源代码中没有charset编码格式显示可以用下面的方法
2、检查元素,查看Response Headers
阅读全文
0 0
- Python解决抓取内容乱码问题(decode和encode解码)
- python 编码乱码问题(decode,encode)
- Python字符串的encode与decode 解决乱码问题
- python的编码问题|encode(编码)decode(解码)
- Python编码解码问题 encode decode
- Python中的decode解码和encode编码
- 使用encode()、decode()解决中文乱码问题
- 8.python中字符串的编码和解码问题——decode/encode
- python decode encode问题
- Python字符串的encode与decode研究心得——解决乱码问题
- (转)Python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- Python字符串的encode与decode研究心得——解决乱码问题
- 现代诗歌
- 项目反思
- 搜索引擎下拉菜单 提示关键词 接口API
- Shader效果之蛛丝网迹
- include与jsp:include区别
- Python解决抓取内容乱码问题(decode和encode解码)
- vivo X20的全面屏,是要让所有人都能买得到
- 防反接保护电路
- 双轴跟踪太阳定日镜步进电机Arduino数控云台精密转台摄影PTU-D46
- IO流(二)转换流、序列化、commons-IO框架
- 类加载的顺序
- UNIX网络编程第一例daytimetcpcli
- 使用python PIL库读取MSCOCO的bounding box
- 一只爬虫带你看世界【8】