Scrapy项目unicodeDecodeError_ascii错误的解决
来源:互联网 发布:怪物猎人帅哥捏脸数据 编辑:程序博客网 时间:2024/05/16 12:47
在编写scrapy爬虫的时候,从网页爬取的数据有中文,保存到json文件后显示为unicode的形式。在网上百度了一下,说是要在json.dump函数中设置参数:
ensure_ascii=False
import jsonimport chardetimport sysclass SisPipeline(object): def __init__(self): self.file = open(r'D:\sis\sis\items.jl', 'wb') def process_item(self, item, spider): line = json.dumps(dict(item),ensure_ascii=False,encoding='windows-1252') + "\n" self.file.write(line,) return item
但是一设置这个参数就报错ascii codec cant encode the character
于是网上百度
应该是出了编码问题,谷歌了一下找到了解决方案:
在python的Lib/site-packages文件夹下新建一个sitecustomize.py:
import sys
问题解决。sys.setdefaultencoding('gb2312')
0 0
- Scrapy项目unicodeDecodeError_ascii错误的解决
- 建立Scrapy项目unicodeDecodeError_ascii错误的解决 (2014-10-22)
- windows 7 64 位 安装 scrapy ,no win32 module的错误解决。
- Scrapy 在Mac OSX 10.10 上安装错误的解决。Failed building wheel for lxml
- 解决Scrapy安装错误:Microsoft Visual C++ 14.0 is required...的问题
- web项目遇到classnotfound错误的解决
- 对于javaweb项目的catalina错误解决
- 对于javaweb项目的catalina错误解决
- web项目406错误的解决
- Macos解决安装pip,python,scrapy,项目安装的若干问题方法
- Maven项目错误解决
- 【Scrapy】学习记录1_一个基本的Scrapy项目
- ubuntu安装scrapy错误的解决方案
- 安装scrapy时遇到的一个错误
- 运行scrapy遇到的错误总结
- scrapy中遇到的问题与解决
- PyCharm下进行Scrapy项目的调试
- PyCharm下进行Scrapy项目的调试
- HDOJ 1242 DFS
- Leetcode Factor Combinations
- bnuoj 51121 Simple Polynomial Problem(栈+运算符重载+多项式运算)
- ios之property修饰符
- java计算日期相差的天、时、分、秒
- Scrapy项目unicodeDecodeError_ascii错误的解决
- JavaScript中的document.cookie的使用
- 多线程及断点续传
- 详细介绍AIDL 的使用
- 用JavaScript实现贪吃蛇游戏
- aspx页面调用iframe标签里面的js函数
- Maven中运行Junit测试Log4j的配置
- 8086CPU寻址能力的问题
- SICP 习题2.5 2^a*3^b的cons car cdr过程