python多进程批量读取图片以及对图片批量旋转等数据增强

2018-03-14 966

深度学习里面最重要的是数据,而有时候数据很少,又或者样本不均衡等问题,这时候就需要对图像进行一系列的数据增强,旋转就是常用的数据增强方式.至于python如何对图像旋转,在之前的文章就有所介绍,

python对图像旋转显示等

这里不详细细谈,一般直接想到的就是添加一个循环,按照循序读取图片,如果图片只有几千张,那可能值耗费几十分钟,但如果图像有上百万张,那么就需要耗费一天,甚至更多的时间,这时候就需要多进程来实现,python多进程虽然比不上c++等其他语言,但是python胜在方便,同样也能缩小很长的时间,本文的例子主要是用multiprocessing这个库.

直接看代码

[python]view plain copy 

#coding=utf-8
'''''
#====================
#测试一下进程
#====================
'''
from multiprocessing import Pool
import scipy
from scipy import misc
import os
import time
import glob
from scipy import ndimage
start = time.time()
def get_image_paths(folder): #这个函数的作用的获取文件的列表,注释部分是获取
# return (os.path.join(folder, f)
# for f in os.listdir(folder)
# if 'png' in f)
return glob.glob(os.path.join(folder, '*.png'))
def create_read_img(filename):
im = misc.imread(filename) #读取图像
img_rote = ndimage.rotate(im, 90) #旋转90度
#scipy.misc.imsave('...',img_rote)
img_path = '存放图像的目录/'
imgs = get_image_paths(img_path)
print imgs
pool = Pool()
pool.map(create_read_img,imgs)
pool.close()
pool.join()
# for i in imgs:
# create_read_img(i) 这部分是循环,可以用来对比时间
end = time.time()
print end - start

from: http://blog.csdn.net/hjxu2016/article/details/79536129

微信关注我们

原文链接：https://yq.aliyun.com/articles/542991

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Python3快速入门——（9）生成器（generator）

生成器（generator） #生成器generator 在Python中，这种一边循环一边计算的机制，称为生成器,能节省大量的空间 L=[x*x for x in range ( 1 , 11 )] g=(x*x for x in range ( 1 , 11 )) #创建L和g的区别仅在于最外层的[]和()，L是一个list，而g是一个generator next (g) #如果要一个一个打印出来，可以通过next()函数获得generator的下一个返回值 for n in g: #用for循环，generator也是可迭代对象 print (n) #举例：斐波那契数列（Fibonacci）除第一个和第二个数外，任意一个数都可由前两个数相加得到 #1, 1, 2, 3, 5, 8, 13, 21, 34, ... def fib(max): #fib函数是定义了斐波拉契数列的推算规则 n,a,b= 0 , 0 , 1 while n<max: print (b) a,b=b,a+b n=n+ 1 return 'done' #如果一个函数定义中包含yield关键字，那么这...

2018-03-15

657

Python条件语句 python的条件语句和C/C++的条件语句的判断方法是一样的通过执行条件的true or flase来判断执行那个分支只是在书写上存在不同： If 判断条件：执行语句（单个语句或者语句块） Else ：执行语句（单个语句或者语句块）在python中通过缩进表示同一个语句块，在pyt python程序语言中指定任何非0或者非空（null）值为true。0或者null为false。还有条件语句的连用： If 判断条件：执行语句（单个语句或者语句块） Elif：执行语句（单个语句或者语句块） Else：执行语句（单个语句或者语句块）不同于C/C++的是python中不支持switch语句，如果多个条件判断的时候我们可以利用elif进行实现，当多个条件同时判断的时候我们可以利用or或者and进行组合判断表达式，如果判断需要多个条件需同时判断时，可以使用 or （或），表示两个条件有一个成立时判断条件成功；使用 and （与）时，表示只有两个条件同时成立的情况下，判断条件才成功。 Python while循环语句 While 判断语句：执行条件……（...

2018-03-16

729

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

python多进程批量读取图片以及对图片批量旋转等数据增强