Windonws 与 Ubuntu 下Python3.6安装Scrapy的快捷方法

来源:互联网 发布:淘宝显示原价和折扣价 编辑:程序博客网 时间:2024/06/06 14:28

序言:通常使用pip install scrapy 安装scrapy包时会出现各种问题,导致安装失败。我将使用最快捷的方法安装scrapy

在windows平台下

安装twisted
先下载 twisted 的 wheel安装包
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
例如python3.6版本,win10 64位操作系统,下载文件为Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl,然后在该文件的指定目录下安装,使用管理员身份打开window powershell 或 cmd,指向该目录,例如我下载在 F:\Python\libs 这个目录

cd F:\Python\libspip install .\Twisted-17.5.0-cp36-cp36m-win_amd64.whl

使用豆瓣源安装scrapy

pip install -i https://pypi.douban.com/simple scrapy

在Ubuntu平台

安装依赖库

$ sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

安装twisted

$ wget https://pypi.python.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2#md5=6dbedb918f0c7288a4c670f59393ecf8--2017-10-17 19:13:42--  https://pypi.python.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2$ bzip2 -d Twisted-17.9.0.tar.bz2$ tar xvf Twisted-17.9.0.tar$ sudo pip install ./Twisted-17.9.0

使用豆瓣源安装scrapy

$ sudo pip install -i https://pypi.douban.com/simple scrapy