python多进程批量读取图片以及对图片批量旋转等数据增强

2018-03-14 1066

深度学习里面最重要的是数据,而有时候数据很少,又或者样本不均衡等问题,这时候就需要对图像进行一系列的数据增强,旋转就是常用的数据增强方式.至于python如何对图像旋转,在之前的文章就有所介绍,

python对图像旋转显示等

这里不详细细谈,一般直接想到的就是添加一个循环,按照循序读取图片,如果图片只有几千张,那可能值耗费几十分钟,但如果图像有上百万张,那么就需要耗费一天,甚至更多的时间,这时候就需要多进程来实现,python多进程虽然比不上c++等其他语言,但是python胜在方便,同样也能缩小很长的时间,本文的例子主要是用multiprocessing这个库.

直接看代码

[python]view plain copy 

#coding=utf-8
'''''
#====================
#测试一下进程
#====================
'''
from multiprocessing import Pool
import scipy
from scipy import misc
import os
import time
import glob
from scipy import ndimage
start = time.time()
def get_image_paths(folder): #这个函数的作用的获取文件的列表,注释部分是获取
# return (os.path.join(folder, f)
# for f in os.listdir(folder)
# if 'png' in f)
return glob.glob(os.path.join(folder, '*.png'))
def create_read_img(filename):
im = misc.imread(filename) #读取图像
img_rote = ndimage.rotate(im, 90) #旋转90度
#scipy.misc.imsave('...',img_rote)
img_path = '存放图像的目录/'
imgs = get_image_paths(img_path)
print imgs
pool = Pool()
pool.map(create_read_img,imgs)
pool.close()
pool.join()
# for i in imgs:
# create_read_img(i) 这部分是循环,可以用来对比时间
end = time.time()
print end - start

from: http://blog.csdn.net/hjxu2016/article/details/79536129

微信关注我们

原文链接：https://yq.aliyun.com/articles/542991

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Python3快速入门——（9）生成器（generator）

生成器（generator） #生成器generator 在Python中，这种一边循环一边计算的机制，称为生成器,能节省大量的空间 L=[x*x for x in range ( 1 , 11 )] g=(x*x for x in range ( 1 , 11 )) #创建L和g的区别仅在于最外层的[]和()，L是一个list，而g是一个generator next (g) #如果要一个一个打印出来，可以通过next()函数获得generator的下一个返回值 for n in g: #用for循环，generator也是可迭代对象 print (n) #举例：斐波那契数列（Fibonacci）除第一个和第二个数外，任意一个数都可由前两个数相加得到 #1, 1, 2, 3, 5, 8, 13, 21, 34, ... def fib(max): #fib函数是定义了斐波拉契数列的推算规则 n,a,b= 0 , 0 , 1 while n<max: print (b) a,b=b,a+b n=n+ 1 return 'done' #如果一个函数定义中包含yield关键字，那么这...

2018-03-14

762

Python条件语句 python的条件语句和C/C++的条件语句的判断方法是一样的通过执行条件的true or flase来判断执行那个分支只是在书写上存在不同： If 判断条件：执行语句（单个语句或者语句块） Else ：执行语句（单个语句或者语句块）在python中通过缩进表示同一个语句块，在pyt python程序语言中指定任何非0或者非空（null）值为true。0或者null为false。还有条件语句的连用： If 判断条件：执行语句（单个语句或者语句块） Elif：执行语句（单个语句或者语句块） Else：执行语句（单个语句或者语句块）不同于C/C++的是python中不支持switch语句，如果多个条件判断的时候我们可以利用elif进行实现，当多个条件同时判断的时候我们可以利用or或者and进行组合判断表达式，如果判断需要多个条件需同时判断时，可以使用 or （或），表示两个条件有一个成立时判断条件成功；使用 and （与）时，表示只有两个条件同时成立的情况下，判断条件才成功。 Python while循环语句 While 判断语句：执行条件……（...

2018-03-15

828

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

python多进程批量读取图片以及对图片批量旋转等数据增强