Scrapy学习笔记VII--Item Pipeline

通过spider爬取到所需的数据存放在item后，item可以发送到item pipeline 进行进一步的处理（通过几个组件-python class），如是否需要pipeline进行进一步处理，或者丢弃，或者不再处理它。

item pipeline 使用场景：

• 清除HTML数据
• 验证爬取的数据（检查是否包含某一字段）
• 检查是否有重复数据（duplicate），然后去重
• 把爬取的数据（scraped item）存入数据库（database）中

Writing your own item pipeline：

item pipeline 组件是一些Python类，必需实现以下几个方法：

process_item(self, item, spider) #对item中的数据进行处理，返回data字典，item对象，或者抛出其他异常，丢弃重复数据等

open_spider(self, spider)  #当spider开始工作时，可以调用，如打开文件，打开数据库等等。。。，否则报错

close_spider(self, spider) #当关闭spider时调用，如关闭文件，关闭数据库等等。。。

from_crawler(cls, crawler)  # 如果存在的话，从crawler创建一个pipeline实例。它必须返回一个新的pipeline实例。Crawler对象提供scrapy所有组件的接口，像setting，signals。item  pipeline 可以使用它们而且可以把item pipeline实现这些功能写入scrapy中

Item pipeline example：

Price validation and dropping items with no prices

#Price validation and dropping items with no pricesfrom scrapy.exceptions import DropItem   #抛出异常class PricePipeline(object):    vat_factor = 1.15    def process_item(self, item, spider):        if item['price']:            if item['price_excludes_vat']:                item['price'] = item['price'] * self.vat_factor            return item        else:            raise DropItem("Missing price in %s" % item)   #当没有价格数据时，抛出异常

Write items to a JSON file

把item写入json文件中，使用Feed exports，以下只是告诉如何写进pipeline中

import jsonclass JsonWriterPipeline(object):    def open_spider(self, spider):        self.file = open('items.jl', 'wb')    def close_spider(self, spider):        self.file.close()       def process_item(self, item, spider):        line = json.dumps(dict(item)) + "\n"   #把item 转换为json格式        self.file.write(line)  #写入文件        return item

Write items to MongoDB
写进mongodb数据库中，通过使用pymongo

import pymongoclass MongoPipeline(object):    collection_name = 'scrapy_items'    def __init__(self, mongo_uri, mongo_db):        self.mongo_uri = mongo_uri        self.mongo_db = mongo_db    @classmethod   #def前加上@classmethod，可以通过类名去调用，也必须传递一个参数，一般cls 表示class，表示可以通过类直接调用    def from_crawler(cls, crawler):        return cls(            mongo_uri=crawler.settings.get('MONGO_URI'),#setting中设置address            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')   # 设置mongodb数据库名字        )    def open_spider(self, spider): #打开mongodb        self.client = pymongo.MongoClient(self.mongo_uri)        self.db = self.client[self.mongo_db]    def close_spider(self, spider):  #关闭mongodb        self.client.close()    def process_item(self, item, spider):        self.db[self.collection_name].insert(dict(item))        return item  #插入数据

Take screenshot of item

Duplicates filter
重复数据过滤,过滤已经处理过的数据

from scrapy.exceptions import DropItemclass DuplicatesPipeline(object):    def __init__(self):        self.ids_seen = set()   #集合容器    def process_item(self, item, spider):        if item['id'] in self.ids_seen:            raise DropItem("Duplicate item found: %s" % item)  #如果已经在集合中出现，抛出异常        else:            self.ids_seen.add(item['id'])            return item  #未出现，添加到集合中

Activating an Item Pipeline component

使你添加的item pipeline生效，需要把定义的pipeline 类添加到ITEM_PIPELINES setting中

ITEM_PIPELINES = {    'myproject.pipelines.PricePipeline': 300,    'myproject.pipelines.JsonWriterPipeline': 800,}   #数字决定了运行的顺序，0-1000，从低到高