菜鸟初探Scrapy第一回

来源:互联网 发布:java零基础入门书籍pdf 编辑:程序博客网 时间:2024/05/17 23:54
    今天开始尝试着使用scrapy,看教程说Mac OS下简单配置,但仍旧耗费了一下午加一晚上的时间,期间碰到的坑不计其数。
    用百度能到的游泳代码信息太少,很多还是错的,为了让后面的人能够少些困扰,简短的记录一下。
    首先需要明白的是pip这样的神器是必须的,https://pypi.python.org/pypi/pip在这个页面之中有一个get-pip.py的文件,右键另存为下载下来。
    然后就是在终端(terminal)下一路找到这个文件所处的文件夹,不停地cd下去就好,使用python get-pip.py,这样终端就开始自动从网站下载,并且进行安装了,以上及以下所有的这些,必须是要联网的。
    拥有了pip神器之后,就可以按照官网http://scrapy.org上面提示的那一个$pip install scarpy进行安装了,当然必须得在前面加上一个sudo,也就是$sudo pip install scrapy运行,此时也就遇到了最大的坑,反复的会安装错误,一度让我放弃,完全看不懂错在哪里,甚至于让我动用了$sudo rm -rf这个万万不能轻易动用的命令(千万不要轻易使用这个)。
    几经辗转,终于发现了错误所在,没有安装命令行工具的原因,具体为啥不安装这个不行,我也不太搞懂。
    在终端之下,运行$xcode-select —install,一阵电光划过,Mac OS便自动开始安装命令行工具,如果网速快的话,应该可以在10分钟以内搞定。
    安装成功之后,重新打开终端(terminal),现在如果着急直接使用$sudo pip install scrapy应该还是会报错,原因在于最开始错误安装的方式会在系统中残余一些文件,让系统默认认为已经安装。此时运行$sudo pip uninstall scrapy,终端会很快地将残余文件卸载,此时再运行$sudo pip install scrapy,系统会从网上下载各种所需要的库,登上几分钟应该就会出现successful,差不多就可以算是安装成功了。
    如果不放心,继续在命令行下输入$scrapy,如果下面给出scrapy的版本好,那么就可以算作彻底成功了。
    使用$scrapy startproject myfirstproject来创建自己的scrapy项目感受一下吧。
    谨以此文纪念我折腾的电脑,以及被我误删的无数文件。

0 0