菜鸟初探Scrapy第一回
来源:互联网 发布:java零基础入门书籍pdf 编辑:程序博客网 时间:2024/05/17 23:54
今天开始尝试着使用scrapy,看教程说Mac OS下简单配置,但仍旧耗费了一下午加一晚上的时间,期间碰到的坑不计其数。
用百度能到的游泳代码信息太少,很多还是错的,为了让后面的人能够少些困扰,简短的记录一下。
首先需要明白的是pip这样的神器是必须的,https://pypi.python.org/pypi/pip在这个页面之中有一个get-pip.py的文件,右键另存为下载下来。
然后就是在终端(terminal)下一路找到这个文件所处的文件夹,不停地cd下去就好,使用python get-pip.py,这样终端就开始自动从网站下载,并且进行安装了,以上及以下所有的这些,必须是要联网的。
拥有了pip神器之后,就可以按照官网http://scrapy.org上面提示的那一个$pip install scarpy进行安装了,当然必须得在前面加上一个sudo,也就是$sudo pip install scrapy运行,此时也就遇到了最大的坑,反复的会安装错误,一度让我放弃,完全看不懂错在哪里,甚至于让我动用了$sudo rm -rf这个万万不能轻易动用的命令(千万不要轻易使用这个)。
几经辗转,终于发现了错误所在,没有安装命令行工具的原因,具体为啥不安装这个不行,我也不太搞懂。
在终端之下,运行$xcode-select —install,一阵电光划过,Mac OS便自动开始安装命令行工具,如果网速快的话,应该可以在10分钟以内搞定。
安装成功之后,重新打开终端(terminal),现在如果着急直接使用$sudo pip install scrapy应该还是会报错,原因在于最开始错误安装的方式会在系统中残余一些文件,让系统默认认为已经安装。此时运行$sudo pip uninstall scrapy,终端会很快地将残余文件卸载,此时再运行$sudo pip install scrapy,系统会从网上下载各种所需要的库,登上几分钟应该就会出现successful,差不多就可以算是安装成功了。
如果不放心,继续在命令行下输入$scrapy,如果下面给出scrapy的版本好,那么就可以算作彻底成功了。
使用$scrapy startproject myfirstproject来创建自己的scrapy项目感受一下吧。
谨以此文纪念我折腾的电脑,以及被我误删的无数文件。
0 0
- 菜鸟初探Scrapy第一回
- Scrapy初探
- Scrapy 初探
- 开卷第一回
- 第一回BLOG
- 第一回 三藏回归
- 开卷第一回
- 并发 第一回
- CSDN 博客第一回
- 开篇第一回
- 开篇第一回
- 学习python第一回
- 日语三级模拟第一回
- 第一回 JavaFX2.0简介
- 此开篇第一回也
- 第一回认识try catch
- 爬虫--scrapy 初探
- Scrapy的架构初探
- 广度优先搜索算法(BFS,Broad First Search)的PHP实现
- MySql命令大全(完整版)
- 两款免费好用的原型制作软件Pencil Project和Axure用于草图绘制和图形化原型 的设计软件
- 关于数据库的复习
- Apache LDAP
- 菜鸟初探Scrapy第一回
- 最简单的视音频播放示例7:SDL2播放RGB/YUV
- VS部分快捷键使用技巧
- QQ登陆实现数据保存
- 百钱买百鸡
- 欧拉回路
- 如何通过github为某个项目贡献代码?
- poj - 2987 - Firing(最大权闭合图)
- 继承UINavigationController的问题----UITabBarController