pycharm运行scrapy项目
来源:互联网 发布:淘宝客服介入能退款吗 编辑:程序博客网 时间:2024/04/27 22:01
pycharm运行scrapy项目
刚学scrapy,之前都是在命令行运行scrapy项目,但是据说用pycharm可以debugger,想试试,但会出问题,下面是我看了网上解决方法之后总结的我觉的较好的解决方法
配置过程
首先在项目文件和scrapy.cfg同一级别目录下新建一个main.py
main.py
# -*— coding: UTF-8 -*-from scrapy.cmdline import executeimport sysimport os# 打断点调试py文件# sys.path.append('D:PyCharmpy_scrapyjobbole')sys.path.append(os.path.dirname(os.path.abspath(__file__)))print(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy', 'crawl', 'tianmao'])
注意
execute的第三个参数tianmao是你spider文件下执行爬取的py文件里属性name的值
下一步将setting.py文件里的机器三定律改成false(最好都改成false,这样就可以爬更多网页了)
# Obey robots.txt rules# 遵守机器人。三种规则ROBOTSTXT_OBEY = False
接下来最重要的是看你spider文件下的爬取文件spider.py有没有代码错误,像我之前就是start_urls 写成start_url了,导致debugger的时候一直以为是其他错误,一直进不了爬取操作代码
接下来就是执行运行scrapy项目了,打开main.py文件,右键
就可以看到Run和Debug这两个选项,这时候你就能感受到这个IDE的好处了,毕竟用命令来查询还是蛮麻烦的
阅读全文
0 0
- pycharm运行scrapy项目
- 使用pycharm运行scrapy项目
- pycharm上运行scrapy项目
- 如何用PyCharm运行Scrapy
- PyCharm运行Scrapy小示例
- 用Pycharm打开Scrapy项目
- 用Pycharm打开Scrapy项目
- 使用PyCharm执行scrapy项目
- 利用Pycharm打开Scrapy项目
- windows下PyCharm运行和调试scrapy
- windows下PyCharm运行和调试scrapy
- windows下PyCharm运行和调试scrapy
- PyCharm下进行Scrapy项目的调试
- pycharm开发scrapy项目中的一些问题
- PyCharm下进行Scrapy项目的调试
- 关于pycharm导入scrapy项目的问题
- Pycharm+Scrapy安装并且初始化项目
- 【python】pycharm 如何快速创建scrapy项目
- 多线程
- HDU6156(数位dp)
- aptitude 与 apt-get
- centos安装setuptools (easy_install)
- Java构造函数、构造代码块和静态代码块的区别和调用时间
- pycharm运行scrapy项目
- 常用sql语句
- UVA1423-(拓扑排序)
- ORACLE EXPDP命令使用详细
- android
- 值得你学习的 Android 开发规范
- python *args和**kwargs介绍
- http 请求中的 referer
- 微信支付-公众号支付(java实现)