使用深度学习和OpenCV的早期火灾检测系统-低调大师

使用深度学习和OpenCV的早期火灾检测系统

2020-07-21 791

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

创建用于室内和室外火灾检测的定制InceptionV3和CNN架构。

嵌入式处理技术的最新进展已使基于视觉的系统可以在监视过程中使用卷积神经网络检测火灾。在本文中，两个定制的CNN模型已经实现，它们拥有用于监视视频的高成本效益的火灾检测CNN架构。第一个模型是受AlexNet架构启发定制的基本CNN架构。我们将实现和查看其输出和限制，并创建一个定制的InceptionV3模型。为了平衡效率和准确性，考虑到目标问题和火灾数据的性质对模型进行了微调。我们将使用三个不同的数据集来训练我们的模型。

创建定制的CNN架构

我们将使用TensorFlow API Keras构建模型。首先，我们创建用于标记数据的ImageDataGenerator。[1]和[2]数据集在这里用于训练。最后，我们将提供980张图像用于训练和239张图像用于验证。我们也将使用数据增强。


  
    
  
  
  
   
   
     
   
   
   import tensorflow as tfimport keras_preprocessingfrom keras_preprocessing import imagefrom keras_preprocessing.image import ImageDataGeneratorTRAINING_DIR = "Train"training_datagen = ImageDataGenerator(rescale = 1./255,                                  horizontal_flip=True,                                  rotation_range=30,                                  height_shift_range=0.2,                                  fill_mode='nearest')VALIDATION_DIR = "Validation"validation_datagen = ImageDataGenerator(rescale = 1./255)train_generator = training_datagen.flow_from_directory(TRAINING_DIR,                                         target_size=(224,224),                                        class_mode='categorical',                                         batch_size = 64)validation_generator = validation_datagen.flow_from_directory(                                                VALIDATION_DIR,                                           target_size=(224,224),                                          class_mode='categorical',                                           batch_size= 16)

在上面的代码中应用了3种数据增强技术，它们分别是水平翻转，旋转和高度移位。

现在，我们将创建我们的CNN模型。该模型包含三对Conv2D-MaxPooling2D层，然后是3层密集层。为了克服过度拟合的问题，我们还将添加dropout层。最后一层是softmax层，它将为我们提供火灾和非火灾两类的概率分布。通过将类数更改为1，还可以在最后一层使用‘Sigmoid’激活函数。


  
    
  
  
  
   
   
     
   
   
   from tensorflow.keras.optimizers import Adammodel = tf.keras.models.Sequential([tf.keras.layers.Conv2D(96, (11,11), strides=(4,4), activation='relu', input_shape=(224, 224, 3)), tf.keras.layers.MaxPooling2D(pool_size = (3,3), strides=(2,2)),tf.keras.layers.Conv2D(256, (5,5), activation='relu'),tf.keras.layers.MaxPooling2D(pool_size = (3,3), strides=(2,2)),tf.keras.layers.Conv2D(384, (5,5), activation='relu'),tf.keras.layers.MaxPooling2D(pool_size = (3,3), strides=(2,2)),tf.keras.layers.Flatten(),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(2048, activation='relu'),tf.keras.layers.Dropout(0.25),tf.keras.layers.Dense(1024, activation='relu'),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(2, activation='softmax')])model.compile(loss='categorical_crossentropy',optimizer=Adam(lr=0.0001),metrics=['acc'])history = model.fit(train_generator,steps_per_epoch = 15,epochs = 50,validation_data = validation_generator,validation_steps = 15)

我们将使用Adam作为学习率为0.0001的优化器。经过50个时期的训练，我们得到了96.83的训练精度和94.98的验证精度。训练损失和验证损失分别为0.09和0.13。

我们的训练模型

让我们测试模型中的所有图像，看看它的猜测是否正确。为了进行测试，我们选择了3张图像，其中包括有火的图像，没有火的图像以及包含火样颜色和阴影的照片。

我们最终得到上面创建的模型在对图像进行分类时犯了一个错误。该模型52％的把握确定图像中有火焰。这是因为已进行训练的数据集中几乎没有图像可以说明室内火灾的模型。所以该模型仅知道室外火灾情况，而当给出一张室内火样的阴影图像时会出现错误。另一个原因是我们的模型不具备可以学习火的复杂特征。

接下来，我们将使用标准的InceptionV3模型并对其进行自定义。复杂模型能够从图像中学习复杂特征。

创建定制的InceptionV3模型

这次我们将使用不同的数据集[3]，其中包含室外和室内火灾图像。我们已经在该数据集中训练了我们之前的CNN模型，结果表明它是过拟合的，因为它无法处理这个相对较大的数据集和从图像中学习复杂的特征。

我们开始为自定义的InceptionV3创建ImageDataGenerator。数据集包含3个类，但对于本文，我们将仅使用2个类。它包含用于训练的1800张图像和用于验证的200张图像。另外，我添加了8张客厅图像，以在数据集中添加一些噪点。


  
    
  
  
  
   
   
     
   
   
   import tensorflow as tfimport keras_preprocessingfrom keras_preprocessing import imagefrom keras_preprocessing.image import ImageDataGeneratorTRAINING_DIR = "Train"training_datagen = ImageDataGenerator(rescale=1./255,zoom_range=0.15,horizontal_flip=True,fill_mode='nearest')VALIDATION_DIR = "/content/FIRE-SMOKE-DATASET/Test"validation_datagen = ImageDataGenerator(rescale = 1./255)train_generator = training_datagen.flow_from_directory(TRAINING_DIR,target_size=(224,224),shuffle = True,class_mode='categorical',batch_size = 128)validation_generator = validation_datagen.flow_from_directory(VALIDATION_DIR,target_size=(224,224),class_mode='categorical',shuffle = True,batch_size= 14)

为了使训练更加准确，我们可以使用数据增强技术。在上面的代码中应用了2种数据增强技术-水平翻转和缩放。

让我们从Keras API导入InceptionV3模型。我们将在InceptionV3模型的顶部添加图层，如下所示。我们将添加一个全局空间平均池化层，然后是2个密集层和2个dropout层，以确保我们的模型不会过拟合。最后，我们将为2个类别添加一个softmax激活的密集层。

接下来，我们将首先仅训练我们添加并随机初始化的图层。我们将在这里使用RMSprop作为优化器。


  
    
  
  
  
   
   
     
   
   
   from tensorflow.keras.applications.inception_v3 import InceptionV3from tensorflow.keras.preprocessing import imagefrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Dense, GlobalAveragePooling2D, Input, Dropoutinput_tensor = Input(shape=(224, 224, 3))base_model = InceptionV3(input_tensor=input_tensor, weights='imagenet', include_top=False)x = base_model.outputx = GlobalAveragePooling2D()(x)x = Dense(2048, activation='relu')(x)x = Dropout(0.25)(x)x = Dense(1024, activation='relu')(x)x = Dropout(0.2)(x)predictions = Dense(2, activation='softmax')(x)model = Model(inputs=base_model.input, outputs=predictions)for layer in base_model.layers:  layer.trainable = Falsemodel.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['acc'])history = model.fit(train_generator,steps_per_epoch = 14,epochs = 20,validation_data = validation_generator,validation_steps = 14)

在训练了顶层20个周期之后，我们将冻结模型的前249层，并训练其余的层（即顶层2个初始块）。在这里，我们将使用SGD作为优化器，学习率为0.0001。


  
    
  
  
  
   
   
     
   
   
   #To train the top 2 inception blocks, freeze the first 249 layers and unfreeze the rest.for layer in model.layers[:249]:  layer.trainable = Falsefor layer in model.layers[249:]:  layer.trainable = True#Recompile the model for these modifications to take effectfrom tensorflow.keras.optimizers import SGDmodel.compile(optimizer=SGD(lr=0.0001, momentum=0.9), loss='categorical_crossentropy', metrics=['acc'])history = model.fit(train_generator,steps_per_epoch = 14,epochs = 10,validation_data = validation_generator,validation_steps = 14)

经过10个周期的训练，我们获得了98.04的训练准确度和96.43的验证准确度。训练损失和验证损失分别为0.063和0.118。

以上10个时期的训练过程

我们用相同的图像测试我们的模型，看看是否它可以正确猜出。

这次我们的模型可以使所有三个预测正确。 96％的把握可以确定图像中没有任何火。我用于测试的其他两个图像如下：

来自下面引用的数据集中的非火灾图像

实时测试

现在，我们的模型已准备好在实际场景中进行测试。以下是使用OpenCV访问我们的网络摄像头并预测每帧图像中是否包含火的示例代码。如果框架中包含火焰，我们希望将该框架的颜色更改为B＆W。


  
    
  
  
  
   
   
     
   
   
   import cv2import numpy as npfrom PIL import Imageimport tensorflow as tffrom keras.preprocessing import image#Load the saved modelmodel = tf.keras.models.load_model('InceptionV3.h5')video = cv2.VideoCapture(0)while True:        _, frame = video.read()#Convert the captured frame into RGB        im = Image.fromarray(frame, 'RGB')#Resizing into 224x224 because we trained the model with this image size.        im = im.resize((224,224))        img_array = image.img_to_array(im)        img_array = np.expand_dims(img_array, axis=0) / 255        probabilities = model.predict(img_array)[0]        #Calling the predict method on model to predict 'fire' on the image        prediction = np.argmax(probabilities)        #if prediction is 0, which means there is fire in the frame.        if prediction == 0:                frame = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)                print(probabilities[prediction])cv2.imshow("Capturing", frame)        key=cv2.waitKey(1)        if key == ord('q'):                breakvideo.release()cv2.destroyAllWindows()

这个项目的Github链接在这里：https://github.com/DeepQuestAI/Fire-Smoke-Dataset。可以从那里找到数据集和上面的所有代码。

结论

使用智能相机可以识别各种可疑事件，例如碰撞，医疗紧急情况和火灾。其中，火灾是最危险的异常事件，因为在早期阶段无法控制火灾会导致巨大的灾难，从而造成人员，生态和经济损失。受CNN巨大潜力的启发，我们可以在早期阶段从图像或视频中检测到火灾。本文展示了两种用于火灾探测的自定义模型。考虑到CNN模型的火灾探测准确性，它可以帮助灾难管理团队按时管理火灾，从而避免巨额损失。

本文使用的数据集：

数据集1：https://www.kaggle.com/atulyakumar98/test-dataset

数据集2：https://www.kaggle.com/phylake1337/fire-dataset

数据集3：https://github.com/DeepQuestAI/Fire-Smoke-Dataset

如果本文对小伙伴有帮助，希望可以在文末来个“一键三连”。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

本文分享自微信公众号 - 小白学视觉（NoobCV）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/4581492/blog/4411819

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深入理解 SecurityConfigurer 【源码篇】

松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程我们来继续撸 Spring Security 源码。 SecurityConfigurer 在 Spring Security 中是一个非常重要的角色。在前面的文章中，松哥曾经多次提到过，Spring Security 过滤器链中的每一个过滤器，都是通过 xxxConfigurer 来进行配置的，而这些 xxxConfigurer 实际上都是 SecurityConfigurer 的实现。所以我们今天有必要来跟大家把 SecurityConfigurer 从头到尾捋一捋。 1. SecurityConfigurer SecurityConfigurer 本身是一个接口，我们来看下： publicinterfaceSecurityConfigurer<O,BextendsSecurityBuilder<O>>{voidinit(Bbuilder)throwsException;voidconfigure(Bbuilder)thro...

2020-07-21

570

我们知道nodejs分为js、c++、c三层，本文以tcp_wrap.cc为例子分析c++层实现的一些通用逻辑。nodejs的js和c++通信原理q.com/s?__biz=MzUyNDE2OTAwNw==&mid=2247484815&idx=1&sn=525d9909c35eabf3c728b303d27061df&chksm=fa303fcfcd47b6d9604298d0996414a5e16c798c1a2dab4e01989bb41ba9c5372ebc00ca0943&token=162783191&lang=zh_CN#rd）之前已经分析过，所以直接从tcp模块导出的功能开始分析（Initialize函数）。 voidTCPWrap::Initialize(Local<Object>target,Local<Value>unused,Local<Context>context){Environment*env=Environment::GetCurrent(context);/*newT...

2020-07-21

754

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。