python 爬虫中文乱码问题
来源:互联网 发布:手机蓝牙网络共享电脑 编辑:程序博客网 时间:2024/06/05 11:59
爬虫在爬中文的时候很容易出现乱码,会出现各种奇怪的字或者字符。
如果是在windows下的话,那么这种情况将会显得更为突出。
我也尝尽苦头。
在windows系统下,一般用pycharm这个IDE来写python
一般来说有以下几种解决方法。
1. 在程序的最前面一行加上如下代码。注意一定要独立放在第一行。
# -*- coding: utf-8 -*-
2. 设置程序的编码格式import sysreload(sys)sys.setdefaultencoding('utf-8')一般来说主要看的是网页的编码方式来确定在程序中如何编码
比如百度。
按F12审查元素功能,在网页里查找charset
所以应该用utf-8。
3. 如果上述方法都没有用的话那么应该就是pycharm的设置问题了,
打开File-》settings-》file encodings-》project encoding
更改project encoding
4. 出现
UnicodeEncodeError: ‘gbk’ codec can’t encode character
说明是将Unicode字符编码为GBK时候出现的问题;
此时,往往最大的可能就是,本身Unicode类型的字符中,包含了一些无法转换为GBK编码的一些字符。
解决办法是:
- 方案1:
在对unicode字符编码时,添加ignore参数,忽略无法无法编码的字符,这样就可以正常编码为GBK了。
对应代码为:
gbkTypeStr = unicodeTypeStr.encode(“GBK“, ‘ignore’);- 方案2:
或者,将其转换为GBK编码的超集GB18030 (即,GBK是GB18030的子集):
gb18030TypeStr = unicodeTypeStr.encode(“GB18030“);对应的得到的字符是GB18030的编码。
希望对大家有帮助。
0 0
- python 爬虫中文乱码问题
- python 中文乱码问题 网络爬虫
- python 爬虫中文乱码
- 爬虫 中文乱码问题
- python爬虫乱码问题
- Python爬虫处理抓取数据中文乱码问题
- python爬虫获取编码时中文乱码问题
- 简单爬虫中文乱码问题
- 解决爬虫中文乱码问题
- BeautifulSoup中文乱码解决问题 python 爬虫 乱码
- BeautifulSoup中文乱码解决问题 python 爬虫 乱码
- python中文乱码问题
- python中文乱码问题
- python中文乱码问题
- python 中文乱码问题
- python 中文乱码问题
- 【python】中文乱码问题
- Python 中文乱码问题
- 大数据与企业的数据化运营
- 莱特币(litecoin)矿池(p2pool)架设之WINDOWS篇
- 好的是大哥大哥
- 华为OJ(输出单链表倒数第K个节点)
- CXF学习(二)--- WebService
- python 爬虫中文乱码问题
- UVa 537 Artificial Intelligence?
- JavaScript面向对象精要
- Oracle归档模式与非归档模式设置
- 黑马程序员——其他8:eclipse使用技巧总结
- 华为机试——两个超长正整数的加法 java
- 操作系统面试题整理
- hdu 1078 记忆化搜索
- 【屌丝程序的口才逆袭演讲稿50篇】第十三篇:爱迪生欺骗了我们!【张振华.Jack】