scrapy 代理
说明: 本文参照了官网文档,以及stackoverflow的几个问题 概要: 在scrapy中使用代理,有两种使用方式 使用中间件 直接设置Request类的meta参数 方式一:使用中间件 要进行下面两步操作 在文件settings.py中激活代理中间件ProxyMiddleware 在文件middlewares.py中实现类ProxyMiddleware 1.文件 settings.py 中: # settings.py DOWNLOADER_MIDDLEWARES = { 'project_name.middlewares.ProxyMiddleware': 100, # 注意修改 project_name 'scrapy.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110, } 说明: 数字100, 110表示中间件先被调用的次序。数字越小,越先被调用。官网文档: The integer values you assign to classes in this setting determine the order ...