python多进程编程中常常能用到的几种方法
python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU资源,在python中大部分情况需要使用多进程。python提供了非常好用的多进程包Multiprocessing,只需要定义一个函数,python会完成其它所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、LocK等组件
一、Process
语法:Process([group[,target[,name[,args[,kwargs]]]]])
参数含义:target表示调用对象;args表示调用对象的位置参数元祖;kwargs表示调用对象的字典。name为别名,groups实际上不会调用。
方法:is_alive():
join(timeout):
run():
start():
terminate():
属性:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为-N,表示被信号N结束)、name、pid。其中daemon是父进程终止后自动终止,且自己不能产生新的进程,必须在start()之前设置。
1.创建函数,并将其作为单个进程
from multiprocessing import Process def func(name): print("%s曾经是好人"%name) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) p.start() #start()通知系统开启这个进程
2.创建函数并将其作为多个进程
from multiprocessing import Process import random,time def hobby_motion(name): print('%s喜欢运动'% name) time.sleep(random.randint(1,3)) #Python学习交流QQ群:579817333 def hobby_game(name): print('%s喜欢游戏'% name) time.sleep(random.randint(1,3)) if __name__ == "__main__": p1 = Process(target=hobby_motion,args=('付婷婷',)) p2 = Process(target=hobby_game,args=('科比',)) p1.start() p2.start()
执行结果:
付婷婷喜欢运动 科比喜欢游戏
3.将进程定义为类(开启进程的另一种方法,并不是很常用)
from multiprocessing import Process class MyProcess(Process): def __init__(self,name): super().__init__() self.name = name def run(self): #start()时,run自动调用,而且此处只能定义为run。 print("%s曾经是好人"%self.name) if __name__ == "__main__": p = MyProcess('kebi') p.start() #将Process当作父类,并且自定义一个函数。
4.daemon程序对比效果
不加daemon属性
import time def func(name): print("work start:%s"% time.ctime()) time.sleep(2) print("work end:%s"% time.ctime()) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) p.start() print("this is over") #Python学习交流QQ群:579817333 #执行结果 this is over work start:Thu Nov 30 16:12:00 2017 work end:Thu Nov 30 16:12:02 2017
加上daemon属性
from multiprocessing import Process import time def func(name): print("work start:%s"% time.ctime()) time.sleep(2) print("work end:%s"% time.ctime()) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) p.daemon = True #父进程终止后自动终止,不能产生新进程,必须在start()之前设置 p.start() print("this is over") #执行结果 this is over
设置了daemon属性又想执行完的方法:
import time def func(name): print("work start:%s"% time.ctime()) time.sleep(2) print("work end:%s"% time.ctime()) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) p.daemon = True p.start() p.join() #执行完前面的代码再执行后面的 print("this is over") #执行结果 work start:Thu Nov 30 16:18:39 2017 work end:Thu Nov 30 16:18:41 2017 this is over
5.join():上面的代码执行完毕之后,才会执行后i面的代码。
先看一个例子:
from multiprocessing import Process import time,os,random def func(name,hour): print("A lifelong friend:%s,%s"% (name,os.getpid())) time.sleep(hour) print("Good bother:%s"%name) if __name__ == "__main__": p = Process(target=func,args=('kebi',2)) p1 = Process(target=func,args=('maoxian',1)) p2 = Process(target=func,args=('xiaoniao',3)) p.start() p1.start() p2.start() print("this is over")
执行结果:
this is over #最后执行,最先打印,说明start()只是开启进程,并不是说一定要执行完 A lifelong friend:kebi,12048 A lifelong friend:maoxian,8252 A lifelong friend:xiaoniao,6068 Good bother:maoxian #最先打印,第二位执行 Good bother:kebi Good bother:xiaoniao
添加join()
from multiprocessing import Process import time,os,random def func(name,hour): print("A lifelong friend:%s,%s"% (name,os.getpid())) time.sleep(hour) print("Good bother:%s"%name) start = time.time() if __name__ == "__main__": p = Process(target=func,args=('kebi',2)) p1 = Process(target=func,args=('maoxian',1)) p2 = Process(target=func,args=('xiaoniao',3)) p.start() p.join() #上面的代码执行完毕之后,再执行后面的 p1.start() p1.join() p2.start() p2.join() print("this is over") print(time.time() - start) #执行结果 A lifelong friend:kebi,14804 Good bother:kebi A lifelong friend:maoxian,11120 Good bother:maoxian A lifelong friend:xiaoniao,10252 #每个进程执行完了,才会执行下一个 Good bother:xiaoniao this is over 6.497815370559692 #2+1+3+主程序执行时间
改变一下位置
from multiprocessing import Process import time,os,random def func(name,hour): print("A lifelong friend:%s,%s"% (name,os.getpid())) time.sleep(hour) print("Good bother:%s"%name) start = time.time() if __name__ == "__main__": p = Process(target=func,args=('kebi',2)) p1 = Process(target=func,args=('maoxian',1)) p2 = Process(target=func,args=('xiaoniao',3)) p.start() p1.start() p2.start() p.join() #需要2秒 p1.join() #到这时已经执行完 p2.join() #已经执行了2秒,还要1秒 print("this is over") print(time.time() - start) #执行结果 A lifelong friend:kebi,13520 A lifelong friend:maoxian,11612 A lifelong friend:xiaoniao,17064 #几乎是同时开启执行 Good bother:maoxian Good bother:kebi Good bother:xiaoniao this is over 3.273620367050171 #以最长时间的为主
6.其它属性和方法
from multiprocessing import Process import time def func(name): print("work start:%s"% time.ctime()) time.sleep(2) print("work end:%s"% time.ctime()) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) p.start() p.terminate() #将进程杀死,而且必须放在start()后面,与daemon的功能类似 #执行结果 this is over
from multiprocessing import Process import time def func(name): print("work start:%s"% time.ctime()) time.sleep(2) print("work end:%s"% time.ctime()) if __name__ == "__main__": p = Process(target=func,args=('kebi',)) # p.daemon = True print(p.is_alive()) p.start() print(p.name) #获取进程的名字 print(p.pid) #获取进程的pid print(p.is_alive()) #判断进程是否存在 print("this is over")
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
如何部署阿里云ECS服务器自定义脚本?
ECS自定义脚本即用户数据是ECS为用户所提供的一种自定义实例启动行为的能力。用户可以在购买实例时输入自定义脚本设置自己的用户数据。用户自定义的脚本通常会在实例购买完成后被执行。 用户数据可以解决很多问题。比如说创建实例时,用户想为这些实例进行个性化配置。用户不想使用默认的root用户用户不想使用阿里云的yum源/NTP服务用户想在创建时自动部署某个应用其他脚本能实现的功能只要脚本能做的事用户数据就完全兼容。如以下脚本: 第一个功能是修改DNS配置 #Modify DNS echo "nameserver 8.8.8.8"|tee /etc/resolv.conf 第二个是是修改yum源 modify yum repo and update rm -rf /etc/yum.repos.d/* touch myrepo.repo echo "[base]"|tee -a /etc/yum.repos.d/myrepo.repo echo "baseurl=http://mirror.centos.org/centos"|tee -a /etc/yum.repos.d/myrepo.rep...
- 下一篇
美国权威媒体CRN预测:2020年值得关注的10个新兴云计算趋势
云计算在过去一年里极速发展,其速度之快,让人难以预测未来会发生什么。即使依照这些趋势而新发明的技术在不断变化并且极其脆弱,而推动这些趋势和技术不断发展的企业和组织最终也很有可能发生变化,但不妨碍这些大趋势将成为2020年云计算市场上的主要特征,十分值得我们关注。 许多新兴的云计算趋势可以溯源至标准化和增强兼容性阶段,这是任何技术领域成熟的标志。公有的、托管的、私有的以及本地的云基础设施之前的壁垒越来越少,从而使得工作负载更具有可移植性,数据流更具移动性。 行业的标准化很大程度上要归功于开源项目的发展,它使得关注的重点转移到技术堆栈上,而不是单一的某项技术。同时,出现了新的角色来支持应用程序级流程,从启用人工智能和高性能计算到交付创新的SaaSOps和应用程序开发服务。 多云将变为全云(Omni-Cloud) 2019年,许多企业开始跨多个IaaS提供商来定期部署工作负载,因此说我们进入多云世界已经十分寻常。但是随着应用程序变得更加可移植,计算周期更易于实时获取,数据集成平台简化了连接,那么在不久的将来,多云的趋势可能会看起来更像是全云趋势。 通常情况下,大型企业可能很快就会成为那些超大...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2全家桶,快速入门学习开发网站教程
- Hadoop3单机部署,实现最简伪集群
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Red5直播服务器,属于Java语言的直播服务器
- MySQL8.0.19开启GTID主从同步CentOS8