【干货】Scrapy安装配置

来源：互联网发布：数据统计分析相关工作编辑：程序博客网时间：2024/05/20 13:36

Scrapy是一个抓取web站点并从中提取结构化数据的开源程序框架，被应用于数据挖掘和信息处理等。本文主要介绍Scrapy及其依赖的安装过程（Windows系统）：

1. Python 2.7

Scrapy是用Python编写的，所以需要安装python的环境。下载Python的安装包，运行安装即可，安装完成后需要配置环境变量，在path中加入C:\python27\Scripts 和 C:\python27（依据实际的安装路径）。

注：下载地址（https://www.python.org/download/releases/2.7.2/）

2. pip

pip是python包的安装和管理工具。可通过get-pip.py，运行python get-pip.py来安装pip。

注：下载地址（https://pip.pypa.io/en/latest/installing.html）

3. libxml2

libxml2是一个xml C语言版的解析器。

注：下载地址（http://users.skynet.be/sbi/libxml-python/）

4. OpenSSL

OpenSSL是强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议。

注：下载地址（https://pypi.python.org/pypi/pyOpenSSL） python封装的OpenSSL库模块

5. pywin32

pywin32能是python像VC一样来开发Windows应用。

注：下载地址（http://sourceforge.net/projects/pywin32/files/）

6. Twisted

Twisted Matrix是用来进行网络服务和应用程序编写的Python框架。

注：下载地址（https://twistedmatrix.com/trac/）

7. zope.interface

python支持多继承，但不支持接口。zope.interface是其第三方的接口实现库。

注：下载地址（https://pypi.python.org/pypi/zope.interface/3.8.0）

8. wxPython

wxPython是Python语言的一套优秀的GUI图形库，方便创建完整的、功能健全的GUI用户界面。

注：下载地址（http://www.wxpython.org/）

9. Ulipad

Ulipad是一个专业的Python编辑器。

注：下载地址（https://github.com/limodou/ulipad）

10. Scrapy

Scrapy下载地址为http://scrapy.org/，下载后直接点击安装或通过命令行安装（pip install Scrapy）。

参考文献：

1.Scrapy Documentation 0.24.0

2. 安装scrapy的方法详解

0 0