scrapy刚安装会遇到的坑

1.pip install scrapy

*Command “python setup.py egg_info” failed with error code 1 in C:\Users\kkk\AppData\Local\Temp\pip-build-x4s15q_w\Twisted*

主要是因为Twisted 包安装失败造成的
如果提示缺少VC环境
下载地址
https://www.microsoft.com/en-us/download/details.aspx?id=48145

解决方案

https://www.lfd.uci.edu/~gohlke/pythonlibs/
找到你的环境所对应的twisted版本
如何安装 twisted

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

2.No module named win32api

在使用 scrapy内置的 shell命令时

scrapy shell http://www.baidu.com

报如下错误

ModuleNotFoundError: No module named 'win32api'

解决方案

pip install pypiwin32

3.将item导出 csv 或者json 等格式文件时 中文乱码

scrapy文件导出方式

scrapy crawl xx(爬虫名字) -o xx.jsonscrapy crawl xx(爬虫名字) -o xx.csvscrapy crawl xx(爬虫名字) -o xx.xml

title 本来是中文的

解决方案

在setting中添加

FEED_EXPORT_ENCODING = 'utf-8'