24-爬虫-scrapy-Item Pipeline

给IT入门加星标，提升编程技能

当Item在Spider中被收集之后，它将会被传递到Item Pipeline

每个Item Pipeline组件接收到Item,定义一些操作行为，比如决定此Item是丢弃而存储。

以下是item pipeline的一些典型应用：

• 验证爬取的数据(检查item包含某些字段，比如说name字段)

• 查重(并丢弃)

• 将爬取结果保存到文件或者数据库中

编写item pipeline

编写item pipeline很简单，item pipiline组件是一个独立的Python类，必须实现process_item方法:

process_item(self, item, spider)

当Item在Spider中被收集之后，都需要调用该方法

参数:

1. item - 爬取的结构化数据

2. spider – 爬取该item的spider

open_spider(self, spider)

当spider被开启时，这个方法被调用。

参数:
spider 被开启的spider

close_spider(spider)

当spider被关闭时，这个方法被调用

参数:

spider – 被关闭的spider

将item写入JSON文件

以下pipeline将所有爬取到的item，存储到一个独立地items.json 文件，每行包含一个序列化为’JSON’格式的’item’:

       import json

       class JsonWriterPipeline(object):

           def __init__(self):

               self.file = open('items.json', 'wb')

           def process_item(self, item, spider):

               line = json.dumps(dict(item),ensure_ascii=False) + "\n"

               self.file.write(line)

               return item

   


                    
        
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
软件开发