Python爬虫环境搭建

python爬虫环境

前几天因为要在我的电脑上搭建爬虫环境，就在网上自己找教程学习，期间经历了无数坑。今天就把我自己的的经验给大家。

首先大家要清楚自己是python2还是python3这个后面再讲，后面这些所有讲的都是在python已安装的情况下讲的。并且将python加入到环境变量里.

首先第一步，安装lxml，下载地址https://pypi.python.org/pypi/lxml/3.3.1  

win+R键进入cmd命令，将lxml下载，如果你是python2.7就下2.7版本，3.5就下3.5版本，然后后面会有win32和64版本，找对应版本。安装命令为pip install lxml +保存位置，

或者是在cmd命令下输入python -m pip install lxml。

第二步，安装twisted

可在cmd中用下载命令：python -m pip install Twisted。

第三步，安装setuptools   

一般都已经安装了的，可在cmd中用 python -m pip list 查看是否已经安装，如果没安装，用下载命令：python -m pip install setuptools安装

第四步，安装pyOpenSSL  

 pyOpenSSL是Python的OpenSSL接口， 可在cmd中用下载命令：python -m pip install pyOpenSSL安装。

第五步，安装win32py

 这个东西也找适合电脑版本和python版本的下，当exe安装，安装好之后，在cmd命令下输入python，进入python模式，再输入import win32

如果出现>>>    则说明安装成功。

最后一步，安装scrapy

在cmd中输入easy_install scrapy，即可。