Scrapy工作原理（流程）

官方教程说当你写好自己的spiders如douban之后，你可以通过scrapy runspider/crawl douban启动你的爬虫。于是一开始的时候你就知道通过这个命令行来启动爬虫，但是你有没有想过当你敲下这行命令后，scrapy到底做了什么呢？

命令入口：cmdline.py

当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本，它接受参数，首先调用 scrapy/cmdline.py 中的 execute() 函数.

execute() 函数在 scrapy 安装目录下的 cmdline.py 文件中.而cmdline.py定义以下几个函数：

iter_command_classes(module_name) get_commands_from_module(module, inproject) get_commands_from_entry_points(inproject, group='scrapy.commands')get_commands_dict(settings, inproject)_pop_command_name(argv)print_header(settings, inproject)print_commands(settings, inproject)print_unknown_command(settings, cmdname, inproject)run_print_help(parser, func, *a, **kw)_run_command(cmd, args, opts)_run_command_profiled(cmd, args, opts)execute(argv=None, settings=None)

这些函数顾名思义，不做太多介绍。其中最重要的是execute，为啥呢？

if __name__ == '__main__':    execute()

因为上面代码告诉我们只有它能自启动，所以我们要详尽的了解它，因此就要读代码了。

def execute(argv=None, settings=None):# 获取变量    if argv is None:        argv = sys.argv# 获取配置(settings)    if settings is None:        settings = get_project_settings()    check_deprecated_settings(settings)    inproject = inside_project() #判断是否在项目中，因为可用命令不同    cmds = _get_commands_dict(settings, inproject) #scrapy.commands中获取命令集    cmdname = _pop_command_name(argv) #获取输入的命令    parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \        conflict_handler='resolve') #获取附加选项        # 根据输入的指令提供不同的结果    if not cmdname:        _print_commands(settings, inproject)        sys.exit(0)    elif cmdname not in cmds:        _print_unknown_command(settings, cmdname, inproject)        sys.exit(2)    # 下面几行代码针对输入合适的指令如genspider crawl....    # 解析命令行参数(cmds：为相应的Scrapy Command对象列表)    cmd = cmds[cmdname]    parser.usage = "scrapy %s %s" % (cmdname, cmd.syntax())    parser.description = cmd.long_desc()    settings.setdict(cmd.default_settings, priority='command')    cmd.settings = settings    cmd.add_options(parser)    opts, args = parser.parse_args(args=argv[1:])    _run_print_help(parser, cmd.process_options, args, opts)    # 设定用于启动爬取CrawlerProcess的配置    cmd.crawler_process = CrawlerProcess(settings)    _run_print_help(parser, _run_command, cmd, args, opts)    sys.exit(cmd.exitcode)

作为整个程序的入口，其主要做的事情是解析用户爬虫的配置属性，根据传递的命令行参数，调用对应的代码来执行相应的任务.

---

scrapy command arg 中 command 可以为 crawl / startproject / genspider / runspider / deploy / …等命令,每一个命令在 scrapy/commands 文件夹下都有对应 command类.

---

对于 scrapy runsspider test ,就会调用 commands/runspider.py 中的方法去执行相应的爬虫任务.

调度者：runspider.py

runspider.py定义了一个函数_import_file从我们的爬虫中查找所有的依赖包，定义了一个Command类(继承ScrapyCommand)。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判断输入的爬虫是否存在。

    self.crawler_process.crawl(spidercls, **opts.spargs)    self.crawler_process.start()

随后用crawler_process(即实例化的CrawlerProcess）调用crawler.py的CrawlerProcess。crawler是Scrapy核心的API，所以需要仔细介绍。

核心API： crawler.py

事实上我们并不一定需要通过命令行的方式运行scrapy的爬虫，完全可以通过API从脚本中运行Scrapy。CrawlerProcess可以为你自启动一个Twisted反应子，配置logging信息、设置脚本关闭处理程序，
我们先来解读self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl。流程如下

1. crawler = self.create_crawler(crawler_or_spidercls)
2. create_crawler return self._create_crawler(crawler_or_spidercls)
3. _create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)
4. spider_loader = _get_spider_loader(settings)
5. .... 读不下去了
6. CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)
7. _crawl crawler.crawl(*args, **kwargs)

8. crawler.crawl

    @defer.inlineCallbacks def crawl(self, *args, **kwargs):     assert not self.crawling, "Crawling already taking place"     self.crawling = True     try:         self.spider = self._create_spider(*args, **kwargs)         self.engine = self._create_engine()         start_requests = iter(self.spider.start_requests())         yield self.engine.open_spider(self.spider, start_requests)         yield defer.maybeDeferred(self.engine.start)

本来我是打算一行一行讲解代码的，但是工作量太大，也很难表述清楚，我还是直接说明他的作用吧：
用指定的参数运行爬虫，最后从spider.start_requests()开启新的征途。

---

结论：
因此当我们执行scrapy runspider SpiderName的时候，Scrapy其实以以下顺序直到启动我们的爬虫。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 从我们的爬虫的start_requests开始下一步。

---

这个代码读的我好晕，但是至少我知道了start_requests是我们运行爬虫的关键。