python7--win10下python3.5安装scrapy

来源：互联网发布：好听劲爆的网络dj歌曲编辑：程序博客网时间：2024/04/27 14:27

前阵子一直忙着交作业，终于空下来可以继续学习爬虫了=_=！之前爬豆瓣时候发现单线程爬那么多页太慢了，就想着用多线程试试，但前两天瞟了几眼，发现不是瞟几眼就能学会的。。。之后再说吧。又看到很多大神说scrapy框架可以解决单线程慢的（是分布式还是多线程去了 QAQ）这个问题，但是这个又用不上之前的requests,bs4了。本着学一点新知识也是好的想法，决定学学scrapy这个框架。发现是个大坑Ｏ(≧口≦)Ｏ。首先它之前一直是基于python2.7的，运气好，这阵子也发布了支持了python3.5的版本。但是在windows下的安装太坑了（Ubuntu下分分钟，但我电脑开个虚拟机卡的不要不要的/(ㄒoㄒ)/~~），记录一下艰辛历程。。。

安装环境

win10
python3.5
vs2015（这个很重要！！）

步骤

先安装VS2015。这里VS2015很重要，开始想偷懒不装，网上也有教程说不装没事，但是scrapy装到一半发现还是报错，少了一个叫vcvarsall.bat的包，这里一定要通过vs解决（Windows就是屁事多O__O “）这里可以看知乎上的大神来勾选一定要安装项VS安装（看有vs截图的）
按照这个步骤安装scrapy，这里按照步骤安装包的时候别忘了还有lxml包<(￣3￣)>

如果按照上述步骤来应该是没有问题的o(╯□╰)o，接着就可以开始学习scrapy了教程

0 0