pycharm下打开、执行并调试scrapy爬虫程序
来源:互联网 发布:人工智能在高校的开展 编辑:程序博客网 时间:2024/04/28 17:34
首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:
scrapy startproject test1
目录结构如下:
打开Pycharm,选择open
选择项目,ok
打开如下界面之后,按alt + 1, 打开project 面板
在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的
name="dmoz"
。这个名字后面会用到。在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的
name='dmoz'
名字是一样的。
- 1
- 2
- 3
- 1
- 2
- 3
7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations
8. 新建一个运行的python模块
9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录
10. 至此,大功告成了,点击下图,右上角的按钮就能运行了。
调试
可以在其他代码中设置断点,就可以debug运行
转载1:http://www.jianshu.com/p/f85120fcbca0
转载2:http://blog.csdn.net/wangsidadehao/article/details/52911746
2 0
- pycharm下打开、执行并调试scrapy爬虫程序
- pycharm 下调试 scrapy
- 爬虫技巧:在pycharm 下 调试 scrapy项目
- PyCharm工具下调试scrapy
- python使用PyCharm调试Scrapy程序
- windows下PyCharm运行和调试scrapy
- windows下PyCharm运行和调试scrapy
- PyCharm下进行Scrapy项目的调试
- windows下PyCharm运行和调试scrapy
- PyCharm下进行Scrapy项目的调试
- pycharm 调试 scrapy
- Windows下使用django做website(创建第一个django工程并使用pycharm打开执行)
- python利用Pycharm来运行调试Scrapy框架程序
- 用Pycharm打开Scrapy项目
- 用Pycharm打开Scrapy项目
- 利用Pycharm打开Scrapy项目
- Pycharm中执行scrapy命令
- 使用PyCharm执行scrapy项目
- 序列化和反序列化
- 联系方式
- C++开源库大全(转)
- Mybatis配置之<typeHandlers>元素详述
- java类加载机制
- pycharm下打开、执行并调试scrapy爬虫程序
- 接口(interface)
- Leetcode练习<五> 字符串翻转
- ThreadLocal详解
- Hibernate各种主键生成策略与配置详解
- 0508-内边距属性
- 使用EA画图总结
- SaaS模式转向PaaS模式
- 欧式距离与余弦相似度