spider_学习笔记03-一一网

4.Scrapy

简介：

同样是一个爬虫框架，Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。

安装scrapy框架：

安装scrapy：通过pip install scrapy即可安装。
如果在windows下，还需要安装pypiwin32，如果不安装，那么以后运行scrapy项目的时候就会报错。安装方式：pip install pypiwin32。
如果是在ubuntu下，还需要安装一些第三方库：sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev。

创建项目和爬虫：

创建项目：scrapy startproject [爬虫的名字]。
创建爬虫：进入到项目所在的路径，执行命令：scrapy genspider [爬虫名字] [爬虫的域名]。注意，爬虫名字不能和项目名称一致。

项目目录结构：

items.py：用来存放爬虫爬取下来数据的模型。
middlewares.py：用来存放各种中间件的文件。
pipelines.py：用来将items的模型存储到本地磁盘中。
settings.py：本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）。
scrapy.cfg：项目的配置文件。
spiders包：以后所有的爬虫，都是存放到这个里面。

糗事百科Scrapy爬虫笔记：

response是一个scrapy.http.response.html.HtmlResponse对象。可以执行xpath和css语法来提取数据。
提取出来的数据，是一个Selector或者是一个SelectorList对象。如果想要获取其中的字符串。那么应该执行getall或者get方法。
getall方法：获取Selector中的所有文本。返回的是一个列表。
get方法：获取的是Selector中的第一个文本。返回的是一个str类型。
如果数据解析回来，要传给pipline处理。那么可以使用yield来返回。或者是收集所有的item。最后统一使用return返回。
item：建议在items.py中定义好模型。以后就不要使用字典。
pipeline：这个是专门用来保存数据的。其中有三个方法是会经常用的。
- open_spider(self,spider)：当爬虫被打开的时候执行。
- process_item(self,item,spider)：当爬虫有item传过来的时候会被调用。
- close_spider(self,spider)：当爬虫关闭的时候会被调用。要激活piplilne，应该在settings.py中，设置ITEM_PIPELINES。示例如下：
```
 ITEM_PIPELINES = {
    'qsbk.pipelines.QsbkPipeline': 300,
 }
复制代码
```

JsonItemExporter和JsonLinesItemExporter：

保存json数据的时候，可以使用这两个类，让操作变得得更简单。

JsonItemExporter：这个是每次把数据添加到内存中。最后统一写入到磁盘中。好处是，存储的数据是一个满足json规则的数据。坏处是如果数据量比较大，那么比较耗内存。示例代码如下：

 from scrapy.exporters import JsonItemExporter
 
 class QsbkPipeline(object):
     def __init__(self):
         self.fp = open("duanzi.json",'wb')
         self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
         self.exporter.start_exporting()
 
     def open_spider(self,spider):
         print('爬虫开始了...')
 
     def process_item(self, item, spider):
         self.exporter.export_item(item)
         return item
 
     def close_spider(self,spider):
         self.exporter.finish_exporting()
         self.fp.close()
         print('爬虫结束了...')
复制代码

JsonLinesItemExporter：这个是每次调用export_item的时候就把这个item存储到硬盘中。坏处是每一个字典是一行，整个文件不是一个满足json格式的文件。好处是每次处理数据的时候就直接存储到了硬盘中，这样不会耗内存，数据也比较安全。示例代码如下：

 from scrapy.exporters import JsonLinesItemExporter
 class QsbkPipeline(object):
     def __init__(self):
         self.fp = open("duanzi.json",'wb')
         self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
 
     def open_spider(self,spider):
         print('爬虫开始了...')
 
     def process_item(self, item, spider):
         self.exporter.export_item(item)
         return item
 
     def close_spider(self,spider):
         self.fp.close()
         print('爬虫结束了...')
复制代码

CrawlSpider：

需要使用LinkExtractor和Rule。这两个东西决定爬虫的具体走向。

allow设置规则的方法：要能够限制在我们想要的url上面。不要跟其他的url产生相同的正则表达式即可。
什么情况下使用follow：如果在爬取页面的时候，需要将满足当前条件的url再进行跟进，那么就设置为True。否则设置为Fasle。
什么情况下该指定callback：如果这个url对应的页面，只是为了获取更多的url，并不需要里面的数据，那么可以不指定callback。如果想要获取url对应页面中的数据，那么就需要指定一个callback。