Python3安装Scrapy

最近学习Python爬虫的过程中，在视频中安装Scrapy都是使用Python2作为示例的，因为视频比较老旧，当时Scrapy还不支持Python3.但是我比较懒，又不想重新安装Python2，所以搜了一下Python3安装Scrapy，官方也说明已经Python3.所以尝试了一下安装，将过程记录一下。

官方文档对于Windows建议如下：

大概就是说推荐安装Anaconda或者Miniconda来避免安装过程中的一些问题。我是直接安装的。

我的Python版本：

网站说明安装Scrapy需要安装一些其他依赖的库：

下面开始安装--

切换到Python安装目录中的Scripts目录下

1. 安装parsel

执行pip install parsel 命令

出现了上图结果，我猜可能是因为黄色字体提示的pip版本较低的缘故，所以按照提示对pip、进行了升级：python -m pip install --upgrade pip

之后，在此运行pip install parsel 命令，出现下面的结果：

可以看到，这一条命令中，pip自动给我们安装了lxml、parsel、six、w3lib，虽然多安装了一些包，这也免了我们自己再另行安装lxml的麻烦，因为之前pip安装lxml是会出错误的。

2. 安装pyOpenSSL。

使用pip install pyOpenSSL安装。

pip又自动给多安装了好几个，其中包括我们需要的cryptography。

3. 安装twisted

以前的教程说twisted与lxml使用pip安装都会出现错误，既然pip都能把lxml安装了，那这个呢？所以我还是抱着偷懒的心理试了一下，因为官网说使用 pip install Twisted[windows_platform] 会安装Windows平台的环境，但是：

果然报错了！乖乖自己下载安装：twisted    注意下载时要选择自己操作系统位数和python软件位数对应的进行下载，

其中，cp后面的数字就是Python的版本号。还要注意要跟自己系统是否匹配。

下载下来后，使用pip installTwisted-XXXX.whl就可以了。

4. 最后，我们就可以来安装Scrapy了。

执行命令：pip install scrapy

pip会自动安装Scrapy的依赖库，但是像上面那样，使用pip是不能直接安装twisted的，所以需要我们自己手动下载安装。

5. 安装成功，来看一下我们的成果吧

大功告成！