一、前言

在爬虫行当，每天都要面对目标反爬虫技术，我们想要拿到数据，就需要针对它们的反爬虫来制定绕过方法，比如它识别你的UserAgent，那你可能就需要伪造、它限制IP请求次数，你可能就需要限速或者改变ip、它用验证码来识别你是人是机，你就需要模拟人的操作并且正确填写它给你弹出的验证码等等。

这里我以实际项目举例：有个项目需要爬取中国证券协会，对方使用的反爬虫手段中就有IP请求次数的限制，因为我需要的数据比较多，而且目标的数据很绕，所以我紧紧降低我爬虫的速度我觉得对我影响很大，所以我选择通过动态ip切换来应对，我需要在scrapy中实现ip自动切换，才能够在客户要求的时间内完成爬取任务。

在此之前，我用过第三方库scrapy-proxys加上芝麻ip的代理api接口，可能是之前代码没有调整好，导致的没有能够成功。（后面有机会再测试）。

二、阿布云范例

阿布云官方给出了python和scrapy的示例代码

文档python3示例

from urllib import request # 要访问的目标页面 targetUrl = "http://test.abuyun.com/proxy.php" # 代理服务器 proxyHost = "http-dyn.abuyun.com" proxyPort = "9020" # 代理隧道验证信息 proxyUser = "H01234567890123D" proxyPass = "0123456789012345" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } proxy_handler = request.ProxyHandler({ "http" : proxyMeta, "https" : proxyMeta, }) #auth = request.HTTPBasicAuthHandler() #opener = request.build_opener(proxy_handler, auth, request.HTTPHandler) opener = request.build_opener(proxy_handler) request.install_opener(opener) resp = request.urlopen(targetUrl).read() print (resp) 

上面的是官方提供的python原生写法，下面还有官方提供的scrapy写法：

文档scrapy示例

import base64 # 代理服务器 proxyServer = "http://http-dyn.abuyun.com:9020" # 代理隧道验证信息 proxyUser = "H012345678901zyx" proxyPass = "0123456789012xyz" # for Python2 proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass) # for Python3 #proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8") class ProxyMiddleware(object): def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth 

这里在scrapy项目中的Middleware里面写即可。

三、正式集成

将它集成到scrapy框架中，那就在项目工程的middlewares.py中新增类及key等信息：

import base64 """ 阿布云ip代理key配置 """ proxyServer = "http://http-dyn.abuyun.com:9020" proxyUser = "HWFHQ5YP14Lxxx" proxyPass = "CB8D0AD56EAxxx" # for Python3 proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8") class ABProxyMiddleware(object): """ 阿布云动态ip代理中间件 """ def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth 

然后再到settings.py中启用刚才编写的中间件：

DOWNLOADER_MIDDLEWARES = { #'Securities.middlewares.SecuritiesDownloaderMiddleware': None, 'Securities.middlewares.ABProxyMiddleware': 1, } 

四、注意事项

阿布云动态ip默认是1秒钟请求5次，（可以加钱，购买多次）。所以，当他是默认5次的时候，我需要对爬虫进行限速，还是在settings.py中，空白处新增如下代码：

""" 启用限速设置 """ AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 0.2 # 初始下载延迟 DOWNLOAD_DELAY = 0.2 # 每次请求间隔时间 

当然了，如果你加钱增加每秒次数的话，可以不用考虑限速的问题。

最后

即可完成阿布云动态代理ip在scrapy中的的集成，尽情的爬吧！

学习是一通百通的，既然阿布云平台的示例代码可以集成到框架中，那么其他平台的示例代码同样可以集成到框架中使用，我就不多写了。

如果你想真的学会这个技巧，你就应该自己去实践，自己动手编写代码并测试，才能够掌握在自己手中。