爬虫技巧：在pycharm 下 调试 scrapy项目

（1） 用pycharm导入scrapy项目

（2）选择自己编写的scrapy，run一下

（3）点击菜单栏的run ，选择Edit Configurations。

（4）选择运行的spider文件

（5）在右侧script 输入你的cmdline.py 的地址，

本人是/home/python/.virtualenvs/django_py3/lib/python3.5/site-packages/scrapy/cmdline.py

script parameters 输入 crawl test1，test1是你在spider中定义的 name。

Working diectory 输入你的项目根目录。

具体配置如下