Scrapy 探索:如何使用 Pycharm 研读 Scrapy 源码

来源:互联网 发布:今天淘宝怎么不能登录 编辑:程序博客网 时间:2024/05/17 07:08

一、引言

最近在研读《精通 Scrapy 网络爬虫》这本书。

就这本书而言,还是很不错的,讲解的很细致。但是就 “精通” 二字,怎能不深入 Scrapy 源码呢?

一直以来,作为初学者的找不到一个很好的方式来研读 Scrapy 源码。而今天使用 Pycharm 的时候正好误打误撞,找到了研读 Scrapy 源码的绝佳方式。

二、Pycharm

以下是我使用 Pycharm 建立 Scrapy 爬虫项目的工作目录:

1. 打开 External Libraries -> site-packages,进入外部安装库目录

External Libraries

2. 打开 site-packages -> scarpy,可以看到 Scrapy 源码文件信息

scrapy

3. 比如说,我们查看 scrapy.settings.default_settings 模块的源码

default_settings

三、总结

想要精通 Scrapy,必然要对源码了如指掌。

今天早上恰巧找到了研读源码的好方法,欣喜之余,将此遭遇写在博客上,希望能对同样初学者的同学有所帮助:)

原创粉丝点击