如何在eclipse中使用scrapy?
来源:互联网 发布:龙华新区行知实验小学 编辑:程序博客网 时间:2024/06/04 23:29
一、创建项目
如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的python项目即可,此时查看项目目录,目录项只有两个工程文件。
此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。
我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
此时如果运行这个项目会报错如图:
二、配置Debug Configurations
1、进入run——>Debug Configurations-——>Main
name中输入这个配置的名称;
Projecct选择你的Scrapy项目
Main Module 中填入scrapy库下的cmdline.py文件
2、进入run——>Debug Configurations-——>Arguments
在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称
这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。
在Working directory中选择other 选择你的爬虫工作目录
如图:
配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:
唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。
至此eclipse + pydev开发环境debug Scrapy就全部完成了。
附:我的工程目录结构
- 如何在eclipse中使用scrapy?
- 如何在Eclipse中使用Hibernate插件
- 如何在Eclipse中使用trace
- 如何在 Eclipse 中使用命令行
- 如何在eclipse中使用SWT
- 如何在 Eclipse 中使用命令行
- 如何在eclipse中使用log4j
- 如何在 Eclipse 中使用命令行
- 如何在 Eclipse 中使用命令行
- 如何在 Eclipse 中使用命令行
- 如何在eclipse中使用java8编译
- 如何在 Eclipse 中使用命令行
- 如何在 Eclipse 中使用命令行
- 如何在 Eclipse 中使用命令行
- 如何在eclipse中使用反编译插件
- 如何在eclipse中使用junit
- 如何在eclipse中使用maven
- 在eclipse中如何使用maven项目
- iOS开发-C语言-基础概念
- JavaWeb中读取文件资源的路径问题
- POJ 1088 滑雪(递归+记忆化搜索)
- python调用数据库并查询
- LeetCode之Jump Game II
- 如何在eclipse中使用scrapy?
- CentOS7 下安装 mysql
- MFC_CString TCHAR的互相转换
- mac命令行打开sublime
- Nhibernate报错:Initializing[Sys_User#1]-Could not initialize proxy - no Session.
- java 操作mongodb查询条件的常用设置
- 背包问题的贪心算法
- 原型模式
- 正则表达式表示输入的内容是否为数字、字母、下划线、汉字