三种分布式爬虫系统的架构方式

分布式爬虫系统广泛应用于大型爬虫项目中，力求以最高的效率完成任务，这也是分布式爬虫系统的意义所在。

分布式系统的核心在于通信，介绍三种分布式爬虫系统的架构思路，都是围绕通信开始，也就是说有多少分布式系统的通信方式就有多少分布式爬虫系统的架构思路。

1. Redis

   利用redis做分布式系统，最经典的就是scrapy-Redis，这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。

      Redis作为通信载体的优点是读写迅速，对爬虫的速度影响可忽略不          计，使用比较普遍。

主程序示例：

import scrapy
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
from