使用Python请求http/https时设置失败重试次数
使用Python的requests库时,默认是没有失败时重试请求的,通过下面的方式可以支持重试请求
设置请求时的重试规则
import requests
from requests.adapters import HTTPAdapter
s = requests.Session()
a = HTTPAdapter(max_retries=3)
b = HTTPAdapter(max_retries=3)
#将重试规则挂载到http和https请求
s.mount('http://', a)
s.mount('https://', b)
请求Url
上面设置完毕后,通过改Session的请求就可以支持失败重试
r = s.get('http://api.map.baidu.com/geocoder?location=39.90733345,116.391244079988&output=json')
# 返回的状态码
r.status_code
# 响应内容,中文为utf8编码
r.content
# 响应的字符串形式,中文为unicode编码
r.text
# 响应头中的编码
r.encoding
# 响应头信息
r.headers

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
Windows下安装配置爬虫工具Scrapy及爬虫环境
爬虫工具Scrapy在Mac和Linux环境下都相对好装,但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。 本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。 下载安装Scrapy Scrapy官方文档 按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。下载地址 安装完成后,python2.7也会自动安装好,然后执行以下命令安装Scrapy. conda install -c conda-forge scrapy 安装mysql驱动 下载并安装mysql官方的驱动程序。下载地址 下载mysql的python驱动程序,可以把两个都装上,使用的时候再决定用哪个。 MySQL官方的纯Python驱动 pip install mysql-connector-python 封装了MySQL C驱动的Python驱动 安装Python版C++编译程序。下载地址 拷贝mysql驱动(32位不需要这一步),将"C:\Program Files\MySQL" 拷贝到 “C:\Program...
-
下一篇
Go 1.9 sync.Map
原生的map在没有加锁的情况下用于协程是数据不安全,并且因为不安全,在编译的时候编译器也会报错。 如果要在多个协程中使用同一个map变量,则需要自己进行加解锁操作。 在Go 1.9中,标准库中加入了协程安全的map,这个sync.Map有以下这个公开的方法: Store LoadOrStore Load Delete Range 下面分别介绍下这几个方法的用法,其实现原理也在最后面给出相应的原理。 (1)Store(key, value interface{}) 说明:存储一个设置的键值。 (2)LoadOrStore(key, value interface{}) (actual interface{}, loaded bool) 说明:存在则返回原值, true,不写入传入值。不存在则存入,并返回最新值和false (3)Load(key interface{}) (value interface{}, ok bool) 说明:读取存储在map中的值,如果没有nil,则返回nil。OK的结果表示是否是map中找到值。 (4)Delete(key interface{}) 说明:删除...
相关文章
文章评论
共有0条评论来说两句吧...