【scrapyd】windows下安装运行scrapyd

来源:互联网 发布:淘宝助理订单下载 编辑:程序博客网 时间:2024/05/18 03:02

写在前面的话:根据最近的想法是想把scrapy和Django结合起来,调研了下,django-dynamic-scraper框架貌似是可以做到,如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置,奈何网上资料太少,对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程,今天对照着网上资料捯饬了一天,也遇到了一些问题。


1 安装

  http://blog.csdn.net/changdejie/article/details/18407979

  首先,还是在scrapy初探写的,当我使用pip安装scrapyd后,遇到的第一个问题是openSSL的版本冲突,提示我requirement.parse[openSSL>=0.12] 而我的openSSL是0.11版本的,提示修改设置文件,然后我修改后不生效,依旧会提示这个问题,卸载重装scrapyd=1.0.1,还是有问题,提示No module named txweb,后来卸载scrapy重装为scrapy0.24版本的,没问题了(我理解是这两个版本的问题?很可惜忘了截图了,这个习惯不好,下次记得遇到错误要截图)

  其次pip install 安装依旧是有问题,运行scrapyd会显示不是内部命令,我查看scripts里,发现确实不是bat,于是使用python scrapyd运行倒是可以了,然而出了scripts这个路径貌似就不行了。。可能是我pip安装的问题?后来使用的easy_install ,这个过程反反复复安装卸载不同的版本也是累心。。

2 运行

  在运行的时候犯了一个比较二的错误,我的project目录进错了,进入了第二层,导致scrapy deploy -l 命令出错,显示没有deloy 还查了很多资料,后来好了

  windows下使用curl命令 下载gow工具,发现还是挺好用的。。

反反复复折腾了一天才把scrapyd弄好,也是醉了 。。

   

0 0
原创粉丝点击