python抓取中文网页乱码
来源:互联网 发布:无线mesh网络特点的是 编辑:程序博客网 时间:2024/05/17 00:02
我们经常通过python做采集网页数据的时候,会碰到一些乱码问题,今天给大家分享一个解决网页乱码,尤其是中文网页的通用方法。
首页我们需要安装chardet模块,这个可以通过easy_install 或者pip来安装。
安装完以后我们在控制台上导入模块,如果正常就可以。
比如我们遇到的一些ISO-8859-2也是可以通过下面的方法解决的。
直接上代码吧:
import urllib2import sysimport chardetreq = urllib2.Request("http://www.163.com/")##这里可以换成http://www.baidu.com,http://www.sohu.comcontent = urllib2.urlopen(req).read()typeEncode = sys.getfilesystemencoding()##系统默认编码infoencode = chardet.detect(content).get('encoding','utf-8')##通过第3方模块来自动提取网页的编码html = content.decode(infoencode,'ignore').encode(typeEncode)##先转换成unicode编码,然后转换系统编码输出print html
- 文件编码是UTF-8,同时在文件头添加 # -*- coding: utf-8 -*-
- 文件中所有的字符串前都加u,如 u"中文"
- 在输入(抓取某些utf-8/gbk的网页)、输出(输出到网页、终端)的时候,要记住python内部是用Unicode存储的
- 所有输入要先decode,变成unicode,输出时要encode变成想要的编码(MacOS X/Linux下输出为utf-8,Windows下输出为gbk,但如果是在pycharm自己的控制台下的话,windows下输出为utf-8也可以正常显示)
- 还有其他很多种古老的解决方案,比如统一用gbk,比如中转编码不用unicode,而用utf-8,如此种种。
- 源码文件用coding: utf-8指定编码并把文件保存为utf-8格式
- 为了作为__main__模块执行时不出不必要的错误,统一使用\n换行
- 如果需要在源码内嵌入汉字等非ascii字符,建议使用u前缀作为unicode字符串,这样在print时可以可以不做编码转换,
- 否则如果控制台编码与源文件编码不一致就必须显式转换,通过locale.getdefaultlocale()可以获取系统语言和编码
- 涉及文件路径的最好转换为sys.getfilesystemencoding()编码
- unicode字符串在写入文件时必须转换为某种字节编码
- json默认支持utf-8编码
- 尽量用utf-8和unicode,除了前面说的文件路径和写入文件等少数情况
0 0
- python抓取中文网页乱码
- python抓取中文网页显示乱码问题
- python 网页抓取中的中文乱码问题解决
- Python抓取gb2312字符集网页中文乱码
- Python抓取gb2312字符集网页中文乱码
- Python抓取中文网页
- Python抓取中文网页
- Python抓取中文网页
- Python抓取中文网页
- Python抓取中文网页
- Windows下Python抓取网页中文乱码解决办法
- python 解决抓取网页中的中文显示乱码问题
- Python+Requests安装及抓取网页源码中文乱码问题的解决
- 【python】网页内容抓取遭遇乱码问题
- python 处理抓取网页乱码问题
- Python+Requests抓取中文乱码改进方案
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- ubuntu12.04 恢复终端下命令TAB键补齐
- JAVA配置文件web.config【load-on-startup配置项解析】
- 打印 RichTextBox
- 学习 android ndk 1 - 相关配置与环境搭建
- CentOS 6.3 安装 MySQL 5.6.15并修改MySQL的root用户密码
- python抓取中文网页乱码
- HDU 1003(最大子序列和)
- 进制转换
- JVM类加载,详谈
- 智能电视TV开发---拍照+水印
- Android上用speex做回音消除
- 使用 Python 登录网站
- svchost.exe占满一个核心的资源
- 记录u-boot不能引导内核的解决过程