windows下 PyCharm安装scrapy

scrapy安装

   一、python安装

         我安装的是python2.7.10，安装注意看看是否添加环境变量          python官方网址：http://www.scrapy.org/

   二、安装scrapy需要安装很多关联模块

        

         我一般选择到第三方模块库下载模块安装包或者直接pip install 模块名字  我感觉这两种方式比较简便

         python第三方库网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

              下载好的whl，名字不要改，只改后缀whl为zip，解压，不要后缀为-info的文件，其他的解压文件夹放到python安装路径下Lib文件夹下

       1、安装Twisted

          1) 安装setuptools

            我这里自带这个模块，可以通过import setuptools看是否出错，不出错说明你的python自带该模块

            

           安装方式：Download(python第三方库whl), build,pip install(easy_install), upgrade, and uninstall Python packages 

            官方主页：http://pypi.python.org/pypi/setuptools

          下载地址：http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe

      

         2、安装Zope.Interface

          

             安装方式：第三方库下载模块  pip install  upgrade, and uninstall Python packages

                      官方主页：http://pypi.python.org/pypi/zope.interface/

             下载地址：http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg

    

     3、安装Twisted  

          安装方式：第三方模块下载，pip  install,  官方下载   

         

       官方主页：http://twistedmatrix.com/trac/wiki/TwistedProject

       下载地址：http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi

 2、安装w3lib

      我这里自带该模块，如果没有自带

      安装方式：第三方模块下载 pip install  官方下载  

      官方主页：http://pypi.python.org/pypi/w3lib

     下载地址： http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz

      验证是否安装    pip   w3lib

  3、安装PyOpenSSL

     安装方式 第三方模块下载    pip  install  官方下载

     官方主页：http://pypi.python.org/pypi/pyOpenSSL

     下载地址：http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi

     验证安装    import OpenSSL

   4、安装libxml2

     这个模块安装较新的scrapy模块，会自动自动安装上

     官方主页：http://users.skynet.be/sbi/libxml-python/http://pypi.python.org/pypi/pyOpenSSL

     下载地址：http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe

      验证安装   import  libxml2

  5 、安装lxml

      我的自带这个模块，import一下看看是否自带该模块

  6、安装scrapy

    我刚开始用的pip install   安装，可能是安装的比较旧，使用的时候好多包导入出错，导入废弃包之类的

    后来重新下载了较新的scrapy包

    官方主页：http://scrapy.org/

    

 安装过程：

T:\Scrapy-0.14.4>python setup.py install
……

Installing easy_install-2.7-script.py script to D:\Python27\Scripts
Installing easy_install-2.7.exe script to D:\Python27\Scripts
Installing easy_install-2.7.exe.manifest script to D:\Python27\Scripts

Using d:\python27\lib\site-packages
Finished processing dependencies for Scrapy==0.14.4

T:\Scrapy-0.14.4>

 验证安装

T:\>scrapy
Scrapy 0.14.4 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command


T:\>