代码详解Python多线程、多进程、协程
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
一、前言
很多时候我们写了一个爬虫,实现了需求后会发现了很多值得改进的地方,其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意:我们不深入介绍理论和原理,一切都在代码中。
二、同步
首先我们写一个简化的爬虫,对各个功能细分,有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码,其中parse_1函数可以设定循环次数,每次循环将当前循环数(从0开始)和url传入parse_2函数。
import requests def parse_1(): url = 'https://www.baidu.com' for i in range(300): parse_2(url) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待
示例代码就是典型的串行逻辑,parse_1将url和循环数传递给parse_2,parse_2请求并返回状态码后parse_1继续迭代一次,重复之前步骤
三、多线程
因为CPU在执行程序时每个时间刻度上只会存在一个线程,因此多线程实际上提高了进程的使用率从而提高了CPU的使用率
实现多线程的库有很多,这里用concurrent.futures中的ThreadPoolExecutor来演示。介绍ThreadPoolExecutor库是因为它相比其他库代码更简洁
为了方便说明问题,下面代码中如果是新增加的部分,代码行前会加上 > 符号便于观察说明问题,实际运行需要去掉
import requests > from concurrent.futures import ThreadPoolExecutor def parse_1(): url = 'https://www.baidu.com' # 建立线程池 > pool = ThreadPoolExecutor(6) for i in range(300): > pool.submit(parse_2, url) > pool.shutdown(wait=True) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
跟同步相对的就是异步。异步就是彼此独立,在等待某事件的过程中继续做自己的事,不需要等待这一事件完成后再工作。线程就是实现异步的一个方式,也就是说多线程是异步处理异步就意味着不知道处理结果,有时候我们需要了解处理结果,就可以采用回调
import requests from concurrent.futures import ThreadPoolExecutor # 增加回调函数 > def callback(future): > print(future.result()) def parse_1(): url = 'https://www.baidu.com' pool = ThreadPoolExecutor(6) for i in range(300): > results = pool.submit(parse_2, url) # 回调的关键步骤 > results.add_done_callback(callback) pool.shutdown(wait=True) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
Python实现多线程有一个无数人诟病的GIL(全局解释器锁),但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适。
四、多进程
多进程用两个方法实现:ProcessPoolExecutor和multiprocessing
1. ProcessPoolExecutor
和实现多线程的ThreadPoolExecutor类似
import requests > from concurrent.futures import ProcessPoolExecutor def parse_1(): url = 'https://www.baidu.com' # 建立线程池 > pool = ProcessPoolExecutor(6) for i in range(300): > pool.submit(parse_2, url) > pool.shutdown(wait=True) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
可以看到改动了两次类名,代码依旧很简洁,同理也可以添加回调函数
import requests from concurrent.futures import ProcessPoolExecutor > def callback(future): > print(future.result()) def parse_1(): url = 'https://www.baidu.com' pool = ProcessPoolExecutor(6) for i in range(300): > results = pool.submit(parse_2, url) > results.add_done_callback(callback) pool.shutdown(wait=True) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
2. multiprocessing
直接看代码,一切都在注释中。
import requests > from multiprocessing import Pool def parse_1(): url = 'https://www.baidu.com' # 建池 > pool = Pool(processes=5) # 存放结果 > res_lst = [] for i in range(300): # 把任务加入池中 > res = pool.apply_async(func=parse_2, args=(url,)) # 获取完成的结果(需要取出) > res_lst.append(res) # 存放最终结果(也可以直接存储或者print) > good_res_lst = [] > for res in res_lst: # 利用get获取处理后的结果 > good_res = res.get() # 判断结果的好坏 > if good_res: > good_res_lst.append(good_res) # 关闭和等待完成 > pool.close() > pool.join() def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
可以看到multiprocessing库的代码稍繁琐,但支持更多的拓展。多进程和多线程确实能够达到加速的目的,但如果遇到IO阻塞会出现线程或者进程的浪费,因此有一个更好的方法……
五、异步非阻塞
协程+回调配合动态协作就可以达到异步非阻塞的目的,本质只用了一个线程,所以很大程度利用了资源
实现异步非阻塞经典是利用asyncio库+yield,为了方便利用逐渐出现了更上层的封装 aiohttp,要想更好的理解异步非阻塞最好还是深入了解asyncio库。而gevent是一个非常方便实现协程的库
import requests > from gevent import monkey # 猴子补丁是协作运行的灵魂 > monkey.patch_all() > import gevent def parse_1(): url = 'https://www.baidu.com' # 建立任务列表 > tasks_list = [] for i in range(300): > task = gevent.spawn(parse_2, url) > tasks_list.append(task) > gevent.joinall(tasks_list) def parse_2(url): response = requests.get(url) print(response.status_code) if __name__ == '__main__': parse_1()
gevent能很大提速,也引入了新的问题:如果我们不想速度太快给服务器造成太大负担怎么办?如果是多进程多线程的建池方法,可以控制池内数量。如果用gevent想要控制速度也有一个不错的方法:建立队列。gevent中也提供了Quene类,下面代码改动较大
import requests from gevent import monkey monkey.patch_all() import gevent > from gevent.queue import Queue def parse_1(): url = 'https://www.baidu.com' tasks_list = [] # 实例化队列 > quene = Queue() for i in range(300): # 全部url压入队列 > quene.put_nowait(url) # 两路队列 > for _ in range(2): > task = gevent.spawn(parse_2) > tasks_list.append(task) gevent.joinall(tasks_list) # 不需要传入参数,都在队列中 > def parse_2(): # 循环判断队列是否为空 > while not quene.empty(): # 弹出队列 > url = quene.get_nowait() response = requests.get(url) # 判断队列状态 > print(quene.qsize(), response.status_code) if __name__ == '__main__': parse_1()
结束语
以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能,但适当控制速度也是爬虫工作者的良好习惯,不要给服务器太大压力,拜拜~
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
原文发布时间:2020-04-07
本文作者:陈熹
本文来自:“早起Python”,了解相关信息可以关注“早起Python”
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
新基建带来新机遇!大数据产业发展需“四驱”推动
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 近段时间以来,“新基建”一次热度不断攀升,受到了科技、产业界的高度关注。实际上,新基建指的是以人工智能、5G网络、工业互联网、数据中心等为代表的新型基础设施,也就是数字化的基础设施。并且,“新基建”这个词汇不是最近才出现,早在2018年国家就已经提出了具体概念。 2020年以来,由于多重因素的影响,新基建在社会、经济发展过程中的价值进一步凸显,无论是政府层面还是市场层面,对于加快发展新基建达成了普遍共识。在国家的积极推进下,新基建也成为了资本市场关注的焦点,有望对相关产业链的成长带来额外利好。例如,对于大数据产业来说,新基建的发展就十分关键。 大数据产业迎来新机遇 自互联网经济、数字经济快速发展以来,我国开始大力建设数据中心,推动各个产业的数字化进程,大数据产业也由此诞生,并迅速落地。目前,大数据产业已经成为我国数字经济发展的重要引擎,大数据技术也为人工智能、云计算等其他前沿产业的发展提供重要支撑。 不管是产业还是科技的发展,最终都将逐步走向融合,对于人工智能、5G、大数据等信息技术领域...
- 下一篇
人生苦短,Python会不会被取代?国外网友吵翻天
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 人生苦短,我该不该选择Python? 编程语言几年一变样,榜单之争也是愈演愈烈,还架不住时不时杀出个黑马…… 而对于Python,自2010年初以来一直蓬勃发展至今,在流行程度上,也超越了C、C++、Java等老牌编程语言。 那么问题来了: 这种趋势将持续到什么时候?最终会因何故被其他语言取代? 对于Python是不是the language of the future,网友们展开就此展开一番激辩。 反方:必然会有一种语言取代Python 一位名叫Rhea Moutafis的网友认为,Python不会是“未来的编程语言”。观点仅发布数日,便得到了10.2k的点赞。 他从“流行原因”、“缺点”以及“何时、何故被取代”三方面做了阐述。 Python为何现在如此流行? Moutafis认为,Python的成功,一定程度体现在Stack Overflow的趋势上。这个平台衡量了发布帖子中的标签数量,再考虑到它的规模,对于“受欢迎编程语言”来说是个不错的指标。 从图中可以看出,R语言在过去几年中处...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker快速安装Oracle11G,搭建oracle11g学习环境