【scrapyd】windows下安装运行scrapyd
来源:互联网 发布:淘宝助理订单下载 编辑:程序博客网 时间:2024/05/18 03:02
写在前面的话:根据最近的想法是想把scrapy和Django结合起来,调研了下,django-dynamic-scraper框架貌似是可以做到,如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置,奈何网上资料太少,对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程,今天对照着网上资料捯饬了一天,也遇到了一些问题。
1 安装
http://blog.csdn.net/changdejie/article/details/18407979
首先,还是在scrapy初探写的,当我使用pip安装scrapyd后,遇到的第一个问题是openSSL的版本冲突,提示我requirement.parse[openSSL>=0.12] 而我的openSSL是0.11版本的,提示修改设置文件,然后我修改后不生效,依旧会提示这个问题,卸载重装scrapyd=1.0.1,还是有问题,提示No module named txweb,后来卸载scrapy重装为scrapy0.24版本的,没问题了(我理解是这两个版本的问题?很可惜忘了截图了,这个习惯不好,下次记得遇到错误要截图)
其次pip install 安装依旧是有问题,运行scrapyd会显示不是内部命令,我查看scripts里,发现确实不是bat,于是使用python scrapyd运行倒是可以了,然而出了scripts这个路径貌似就不行了。。可能是我pip安装的问题?后来使用的easy_install ,这个过程反反复复安装卸载不同的版本也是累心。。
2 运行
在运行的时候犯了一个比较二的错误,我的project目录进错了,进入了第二层,导致scrapy deploy -l 命令出错,显示没有deloy 还查了很多资料,后来好了
windows下使用curl命令 下载gow工具,发现还是挺好用的。。
反反复复折腾了一天才把scrapyd弄好,也是醉了 。。
- 【scrapyd】windows下安装运行scrapyd
- windows下的scrapyd-deploy无法运行的解决办法
- Scrapyd的安装及使用(windows)
- windows 和 linux 安装 scrapyd 出现Not a directory site-packages/scrapyd-1.0.1-py2.7.egg/scrapyd/txapp.py
- windows 和 linux 安装 scrapyd 出现Not a directory site-packages/scrapyd-1.0.1-py2.7.egg/scrapyd/txapp.py
- ubantu下部署scrapyd
- scrapyd的安装
- scrapyd部署
- Scrapyd 使用
- scrapyd爬虫一直在运行,无法停止
- scrapyd 环境搭建项目发布及运行
- ubuntu下scrapyd部署爬虫项目
- scrapyd的安装和基本使用
- scrapyd日志太多了,重启scrapyd
- windows 7 使用 scrapyd 监控 scrapy的 spider
- environment can only contain strings(scrapyd){linux&windows}
- Scrapyd 学习记录
- scrapyd部署总结
- steam段错误
- java集合-笔记
- Java --- 读写文件操作
- Generate Parentheses
- java多线程-笔记
- 【scrapyd】windows下安装运行scrapyd
- CoordinatorLayout 的jar包位置
- php日常3-21 设计一个九九乘法表
- POJ3126Prime Path(BFS)
- hadoop命令及hive数据库操作语句的简单使用
- 【实例】ajax提交到java后台之后处理数据
- leetcode——292—— Nim Game
- 设计模式之抽象工厂模式感悟
- KMP 题解