MAC10.11 Python3.6 安装Scrapy
来源:互联网 发布:系统检测修复软件 编辑:程序博客网 时间:2024/06/18 10:58
MAC10.11 Python3.6 安装Twisted
mac机器上是自带python2的,但是我自己下载使用了python3,最近才开始接触python和爬虫,尝试安装一下scrapy,遇到了一些问题,就记录一下安装成功的步骤吧。
安装wheel
安装lxml
安装Twisted
安装scrapy
LFD: http://www.lfd.uci.edu/~gohlke/pythonlibs/
我们需要的一些包,可以在这个网址上下载
安装wheel
1、去上面的网址下载wheel的包
进到网页,command+F 输入wheel,就可以找到啦。
然后在命令行输入
pip3 install /Users/blue/Downloads/wheel-0.29.0-py2.py3-none-any.whl
路径根据实际自己写啦
2、检查wheel是否安装成功,只要在命令行输入wheel即可
wheel
输出结果是这样的就代表安装成功啦:
安装lxml
法一:
lxml 是一个用来处理 XML 的第三方 Python 库。这个只能通过下载后安装的方法。(我用pip3 install lxml 的方法没有成功)
如果是Windows系统,可以直接在前面的LFD网站下载。cp后的数字是python的版本号。win32表示32位系统,win_amd64表示64位系统
如果不是:
https://pypi.python.org/pypi/lxml/3.8.0
在这个网址找到lxml安装包,cp后面的数字是你的python版本,请根据python版本和系统选择下载。
安装方法和wheel相同
法二:
在pycharm里安装,参照下面安装Twisted的方法。
打开pycharm
PyCharm -> Preferences -> project 项目名 -> project interpreter
点击最下面的+号
找到lxml 然后install即可
安装Twisted
如果是Windows系统,到上面的lfd网站找到下载就可以了。
mac系统的话,地址:https://pypi.python.org/pypi/Twisted/
到这个网址下载tar.gz文件
然后在命令行进入到压缩包所在的目录,进行解压
tar -jvxf /Users/blue/Downloads/Twisted-17.5.0.tar.bz2
进入解压后的文件夹
cd /Users/blue/Downloads/Twisted-17.5.0
进行安装
python3 setup.py install
但是我这里安装完成后,import还是有问题,命令行输入python3
>>>import twisted
会提示 No module named ‘incremental’
就进入pycharm,一个很好用的 IDE,进入随便一个项目
PyCharm -> Preferences -> project 项目名 -> project interpreter
双击Twisted
就装好了
回到命令行,import twisted 就不会报错了。
安装scrapy
到了这一步就非常简单了,保持网络连接:
pip3 install scrapy
这里可能遇到超时的情况,提示Read time out
这时我们就需要修改它的超时时间
pip3 --default-timeout=100 install -U scrapy
这样安装就可以啦
安装完成后,在命令行输入scrapy,弹出下面的内容就代表安装成功了
- MAC10.11 Python3.6 安装Scrapy
- python3.6安装scrapy
- Python3.6 安装Scrapy
- python3.6 安装 scrapy(windows)
- Mac10.11安装Cocoapods
- Python3.6下scrapy框架的安装
- Python3.6下scrapy框架的安装
- win10+python3.6+scrapy安装过程
- Python3.6安装Scrapy爬虫框架
- Windows下安装scrapy(python3.6)
- Python3.6(3.0以上)安装scrapy
- Python3.6下scrapy框架的安装
- window下面安装scrapy爬虫框架(python3.6+scrapy)
- python3.5 安装scrapy
- python3 pip安装scrapy
- python3.5 安装scrapy
- python3下安装Scrapy
- Python3安装Scrapy
- LeetCode--First Missing Positive
- sysstat 中sar命令使用笔记
- Java并发包基石-AQS详解
- Android style Theme
- 如何设计三维模型?
- MAC10.11 Python3.6 安装Scrapy
- python 爬虫入门(2) 爬虫基础知识 ; urllib 模块 ;urllib2 模块
- 习题 4.6 有一个函数:y=x (x<1) y=2x-1 (1<=x<10) y=3x-11 (x>=10) 写程序,输入x的值,输出y相应的值。
- 2017年数据科学15个最好用的Python库
- 装了Visual Studio 2013 Redistributable. MySQL安装失败
- 反射、枚举与单例
- 2017年下半年软考全国省市报名时间及报名网址
- hdu
- 笨办法学 Python · 续 练习 2:创造力