爬虫老崩溃咋整 ?retrying模块了解一下!
retrying模块的学习 我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying. 安装 retring模块的安装很简单直接用匹配安装即可。 pipinstallretrying 使用 retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子 fromretryingimportretry@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)defrun(): print("开始重试") raiseNameErrorif__name__=='__main__': run() 上面的代码干了哪些事呢,首先导入retring的retry模块 然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。 到这里我们可以感受到重试了,...
