python requests乱码解决方案
来源:互联网 发布:淘宝网登陆页面 编辑:程序博客网 时间:2024/04/23 21:49
在使用requests获取网页源代码之后:
from bs4 import BeautifulSoupimport requestsurl="http://www.diareagent.com/"r=requests.get(url=url)r.encoding='utf-8'print(r.text[:300])
运行出现错误:
UnicodeEncodeError: 'gbk' codec can't encode character '\ufeff' in position 0: illegal multibyte sequence
这错误来的莫名其妙,我明明已经把编码方式修改成了utf-8,而且网站明明也是utf-8,为什么会出现使用gbk无法编码/ufeff。哪里来的gbk,
经过查阅资料发现之所以这样是因为python在cmd环境下print是使用的是gbk的编码方式进行输出,所以需要更改默认IO输出:
from bs4 import BeautifulSoupimport requestsimport ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码url="http://www.diareagent.com/"r=requests.get(url=url)r.encoding='utf-8'print(r.encoding)print(r.text[:300])
值得注意的是,只有在windows cmd状态下的时候IO输出使用的编码是gbk。linux下默认是utf-8
0 0
- python requests乱码解决方案
- Python HTTP库requests中文页面乱码解决方案!
- python requests获取网页乱码
- python中requests爬去网页内容出现乱码的解决方案
- Notepad++ Python/C++ 控制台print/cout requests utf-8乱码解决方案
- Python+Requests抓取中文乱码改进方案
- Python及requests乱码问题的总结
- python requests爬取网页乱码问题
- Python requests库中文乱码问题
- python requests向https get超时解决方案
- Python乱码解决方案
- Python requests库解析中文网页乱码处理方法
- python学习之 requests爬虫导致的中文乱码
- python requests 高级用法 -- 包括SSL 证书错误的解决方案
- python requests 高级用法 -- 包括SSL 证书错误的解决方案
- python requests
- python requests
- Python Requests
- MYSQL IF 和 IFNULL 函数 IF(expr1,expr2,expr3) IFNULL(expr1,expr2)
- 生成JSON数据--官方方法
- Alpha通道?Mat和IplImage访问像素、uchar、Scalar?
- SpringSecurity3整合CAS实现单点登录
- 微信公众账号开发
- python requests乱码解决方案
- [李景山php] php常见面试题
- 互联网产品之百万级高并发技术整体架构
- Github上关于iOS的各种开源项目集合
- HTTP的长连接和短连接
- 【taotao】redis单机与集群搭建
- 欢迎使用CSDN-markdown编辑器
- 沉浸式状态栏之Toolbar解决方案
- 数组(二)