分布式scrapy_redis源码总结，及其架构

分布式scrapy的组件源码介绍完了，大致总结一下，相关组件目录如下：

《RedisSpider的调度队列实现过程及其源码》

《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》

《scrapy分布式调度源码及其实现过程》

《scrapy分布式Spider源码分析及实现过程》

《scrapy分布式去重组件源码及其实现过程》

《scrapy_redis中序列化源码及其在程序设计中的应用》

《scrapy_redis分布式组件Connection源码解读及工作原理》

其架构如图：

在对比scrapy架构：

在架构上scrapy_redis比scrapy多了一个中介Redis，正是通过Redis实现的去重和数据储存，同时scrapy_redis实现了四个组件的重写，Scheduler（调度）、Duplication Filt