scrapy爬虫之Spider

Spider

class scrapy.spider.Spider

这是最简单的爬虫基类，无论是Scrapy自带的其他爬虫还是我们自己写的爬虫，都必须继承该基类，它没有提供任何特殊的功能，它只是提供了

属性（string类型）：name [必选项] 

属性（list类型）：start_urls [可选项]

方法：start_requests()

:该方法默认调用start_urls中的列表中的urls,然后调用方法make_requests_from_url(url)，创建Request对象

方法：make_requests_from_url(url)

<span style="font-size:18px;">    def start_requests(self):        for url in self.start_urls:            yield self.make_requests_from_url(url)    def make_requests_from_url(self, url):        return Request(url, dont_filter=True)</span>