爬虫老崩溃咋整 ?retrying模块了解一下!
retrying模块的学习
我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying.
安装
retring模块的安装很简单直接用匹配安装即可。
pip install retrying
使用
retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子
from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
print("开始重试")
raise NameError
if __name__ == '__main__':
run()
上面的代码干了哪些事呢,首先导入retring的retry模块
然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。
到这里我们可以感受到重试了,就是这么简单的代码,就完成了五次重试,同时这五次重试的间隔时间也是不同的。
如果想尝试10次就把上面的stop_max_attempt_number=5,改成10即可,到这里就可以解释retry装饰器的参数了
stop_max_attempt_number:最大重试次数,超过这个次数会停止重试,并报异常。
wait_random_min:随机等待最小时间。
wait_random_max:随机等待最大时间。
好了retry的使用就是这么简单,在需要重试的函数上面加个装饰器就好了。
关键是装饰器里的参数的使用,下面列举了retrying的参数。
如果不写参数将会一直重试.
stop_max_attempt_number:在停止之前尝试的最大次数,最后一次如果还是有异常则会抛出异常,停止运行,默认为5次
@retry(stop_max_attempt_number=5)
def run():
print("开始重试")
raise NameError
if __name__ == '__main__':
run()
强调总次数。
stop_max_delay:最大延迟时间,大概意思就是:如果调用的函数出现异常,那么就会重复调用这个函数,最大调用时间,默认为100毫秒
from retrying import retry
@retry(stop_max_delay=5000)
def run():
print("开始重试")
raise NameError
if __name__ == '__main__':
run()
会重试5秒钟,强调总时间。
wait_fixed:两次调用方法期间停留时长, 如果出现异常则会一直重复调用,默认 1000毫秒
from retrying import retry
@retry(wait_fixed=2000)
def run():
print("开始重试")
raise NameError
if __name__ == '__main__':
run()
强调间隔时间。
wait_random_min:在两次调用方法停留时长,停留最短时间,默认为0
wait_random_max:在两次调用方法停留时长,停留最长时间,默认为1000毫秒
wait_incrementing_increment:每调用一次则会增加的时长,默认 100毫秒
wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying之间的停留时间,产生的值为2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying之间的停留值都为wait_exponential_max
retry_on_exception: 指定一个函数,如果此函数返回指定异常,则会重试,如果不是指定的异常则会退出
from retrying import retry
def run2(exception):
return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
print("开始重试")
a = 1 / 0
if __name__ == '__main__':
run()
retry_on_result:指定一个函数,如果指定的函数返回True,则重试,否则抛出异常退出
from retrying import retry
def run2(r):
return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
print("开始重试")
a = 1
return a
if __name__ == '__main__':
run()
wrap_exception:参数设置为True/False,如果指定的异常类型,包裹在RetryError中,会看到RetryError和程序抛的Exception error
stop_func: 每次抛出异常时都会执行的函数,如果和stop_max_delay、stop_max_attempt_number配合使用,则后两者会失效
指定的stop_func会有两个参数:attempts, delay
wait_func:和stop_func用法差不多,不多描述
看不懂的小伙伴儿可以留言。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
redis学习之redis的安装和简介
redis简介 Redis是一个开源的,高性能的,基于键值对的缓存与存储系统,通过设置各种键值数据类型来适应不同场景下的缓存与存储需求。同时redis的诸多高层级功能使其可以胜任消息队列,任务队列等不同角色。 存储结构 Redis是REmote Dictionary Server(远程字典服务器)的缩写,它以字典结构存储数据,并允许其他应用通过TCP协议读写字典中的内容,目前为止redis支持的键值数据类型如下:字符串类型,散列类型,列表类型,集合类型,和有序集合类型。其中一个字符串类型键值允许存储的数据最大容量为521M. 内存存储与持久化 Redis数据库中的所有数据都存储在内存中。在一台普通的笔记本电脑上,Redis可以在一秒内读写超过10万个键值。 数据存储在内存也有问题比如断电。redis还提供了持久化的存储,既可以将内存的数据异步写入应哦按,同时不影响继续 提供服务。 功能丰富 Redis可以为每个键设置生存时间,生存时间到后期会自动删除,这一功能可以利用redis作为缓存系统来调用。 除此之外,redis的列表类型键可以用来实现队列,并且支持阻塞式读取,可以容易地实现一个...
- 下一篇
CentOS6.9源码编译安装php-memcached扩展
安装memcached请移步以下地址:CentOS6.9源码编译安装memcachedCentOS6.9yum安装memcached和php-memcached扩展php安装请移步以下地址:CentOS6.9源码编译安装nginx+php7+mysql环境CentOS6.9yum安装nginx+php7+mysql环境1.安装libmemcached 新建并进入源码保存目录 mkdir -p /usr/local/src cd /usr/local/src 下载,解压 wget -c https://launchpad.net/libmemcached/1.0/1.0.18/+download/libmemcached-1.0.18.tar.gz tar -zxvf libmemcached-1.0.18.tar.gz cd libmemcached-1.0.18 配置,编译,安装 #安装依赖 yum -y install gcc gcc-c++ ./configure --prefix=/usr/local/libmemcached --with-memcached make -j4...
相关文章
文章评论
共有0条评论来说两句吧...