首页 文章 精选 留言 我的

精选列表

搜索[计算机视觉],共10001篇文章
优秀的个人博客,低调大师

计算机视觉来做异常检测

点击上方“智能算法”,选择加"星标"或“置顶” 重磅干货,第一时间送达 作者:Mia Morton 编译:ronghuaiyang(AI公园) 导读 创建异常检测模型,实现生产线上异常检测过程的自动化。在选择数据集来训练和测试模型之后,我们能够成功地检测出86%到90%的异常。 介绍 异常是指偏离预期的事件或项目。与标准事件的频率相比,异常事件的频率较低。产品中可能出现的异常通常是随机的,例如颜色或纹理的变化、划痕、错位、缺件或比例错误。 异常检测使我们能够从生产流程中修复或消除那些处于不良状态的部件。因此,由于避免生产和销售有缺陷的产品,制造成本降低了。在工厂中,异常检测由于其特点而成为质量控制系统的一个有用工具,对机器学习工程师来说是一个巨大的挑战。 不推荐使用监督学习,因为:在异常检测中需要内在特征,并且需要在完整数据集(训练/验证)中使用少量的异常。另一方面,图像比较可能是一个可行的解决方案,但标准图像处理多个变量,如光线、物体位置、到物体的距离等,它不允许与标准图像进行像素对像素的比较。在异常检测中,像素到像素的比较是不可或缺的。 除了最后的条件外,我们的建议包括使用合成数据作为增加训练数据集的方法,我们选择了两种不同的合成数据,随机合成数据和相似异常合成数据。(详见数据部分) 这个项目的目标是使用无监督学习和合成数据作为数据增强方法来分类异常 — 非异常。 背景研究 异常检测与金融和检测“银行欺诈、医疗问题、结构缺陷、设备故障”有关(Flovik等,2018年)。该项目的重点是利用图像数据集进行异常检测。它的应用是在生产线上。在项目开始时,我们熟悉了自动编码器在异常检测中的功能和架构。作为数据计划的一部分,我们研究了包括合成噪声图像和真实噪声图像的重要性(Dwibedi et al, 2017)。 数据计划是这个项目的重要组成部分。选择一个数据集,有足够的原始图像和足够的真实噪声的图像。同时使用合成图像和真实图像。在处理真实图像时,这些数据需要对目标有全覆盖,但是在尺度和视角方面无法完全获得。“……要区分这些实例需要数据集对对象的视角和尺度有很好的覆盖”(Dwibedi et al, 2017)。合成数据的使用允许“实例和视角的良好覆盖”(Dwibedi et al, 2017)。合成图像数据集的创建,包括合成渲染的场景和对象,是通过使用Flip Library完成的,这是一个由LinkedAI创建的开源python库。“剪切,粘贴和学习:非常简单的合成实例检测”,通过这些数据的训练和评估表明,使用合成数据集的训练在结果上与在真实图像数据集上的训练具有可比性。 自动编码器体系结构“通常”学习数据集的表示,以便对原始数据进行维数缩减(编码),从而产生bottleneck。从原始的简化编码,产生一个表示。生成的表示(重构)尽可能接近原始。自动编码器的输入层和输出层节点数相同。“bottleneck值是通过从随机正态分布中挑选出来的”(Patuzzo, 2020)。在重构后的输出图像中存在一些重构损失(Flovik, 2018),可以通过分布来定义原始图像输入的阈值。阈值是可以确定异常的值。 去噪自动编码器允许隐藏层学习“更鲁棒的滤波器”并减少过拟合。一个自动编码器被“从它的一个损坏版本”来训练来重建输入(去噪自动编码器(dA))。训练包括原始图像以及噪声或“损坏的图像”。随着随机破坏过程的引入,去噪自编码器被期望对输入进行编码,然后通过去除图像中的噪声(破坏)来重建原始输入。用去噪自编码器提取和组合鲁棒特征,去噪自编码器应该能够找到结构和规律作为输入的特征。关于图像,结构和规律必须是“从多个输入维度的组合”捕获。Vincent等(2020)的假设引用“对输入的部分破坏的鲁棒性”应该是“良好的中间表示”的标准。 在这种情况下,重点将放在获取和创建大量原始和有噪声图像的能力上。我们使用真实数据和合成数据创建了大量的图像来训练我们的模型。 根据Huszar(2016)的说法,扩张卷积自动编码器“支持感受野的指数扩展,而不丢失分辨率或覆盖范围。“保持图像的分辨率和覆盖范围,对于通过扩大卷积自动编码器重建图像和使用图像进行异常检测是不可或缺的。这使得自动编码器在解码器阶段,从创建原始图像的重建到更接近“典型”自动编码器结构可能产生的结果。Dilated Convolutional Autoencoders Yu et al.(2017),“Network Intrusion Detection through Stacking Dilated Convolutional Autoencoders”,该模型的目标是将无监督学习特征和CNN结合起来,从大量未标记的原始流量数据中学习特征。他们的兴趣在于识别和检测复杂的攻击。通过允许“非常大的感受野,而只以对数的方式增加参数的数量”,Huszar (2016),结合无监督CNN的特征学习,将这些层堆叠起来(Yu et al., 2017),能够从他们的模型中获得“卓越的性能”。 技术 Flip Library (LinkedAI): https://github.com/LinkedAi/flip Flip是一个python库,允许你从由背景和对象组成的一小组图像(可能位于背景中的图像)中在几步之内生成合成图像。它还允许你将结果保存为jpg、json、csv和pascal voc文件。 Python Libraries 在这个项目中有几个Python库被用于不同的目的: 可视化(图像、指标): OpenCV Seaborn Matplotlib 处理数组: Numpy 模型: TensorFlow Keras Random 图像相似度比较: Imagehash PIL Seaborn (Histogram) Weights and Biases Weights and bias是一个开发者工具,它可以跟踪机器学习模型,并创建模型和训练的可视化。它是一个Python库,可以作为import wandb导入。它工作在Tensorflow, Keras, Pytorch, Scikit,Hugging Face,和XGBoost上。使用wandb.config配置输入和超参数,跟踪指标并为输入、超参数、模型和训练创建可视化,使它更容易看到可以和需要更改的地方来改进模型。 模型&结构 我们基于当前的自动编码器架构开始了我们的项目,该架构专注于使用带有卷积网络的图像(见下图)。经过一些初步的测试,基于研究(参见参考资料)和导师的建议,我们更改为最终的架构。 自编码器的典型结构 使用扩张特征 扩张特征是一种特殊的卷积网络,在传统的卷积核中插入孔洞。在我们的项目中,我们特别的对通道维度应用了膨,不影响图像分辨率。 最终的结构 图像相似度 这个项目的关键点之一是找到一个图像比较的指标。利用图像比较度量对模型进行训练,建立直方图,并计算阈值,根据该阈值对图像进行异常和非异常的分类。 我们从逐个像素的L2欧氏距离开始。结果并不能确定其中的一些差异。我们使用了带有不同散列值(感知、平均和差异)的Python Imagehash库,对于相似的图像,我们得到了不同的结果。我们发现SSIM(结构相似度指数度量)度量为我们提供了一对图像之间相似度的度量,此外,它是Keras库的一个内置损失。 直方图 在对模型进行训练和评估后,利用其各自的数据集,对重建后的图像和原始图像之间的相似度进行识别。当然,由于原始图像的多样性(如,大小,位置,颜色,亮度和其他变量),这种相似性有一个范围。我们使用直方图作为图的表示,以可视化这个范围,并观察在哪个点会有不同的图像。 直方图的例子 数据 使用的数据从Kaggle下载:表面裂纹检测数据集: https://www.kaggle.com/arunrk7/surface-crack-detection 铸造产品质量检查图像数据: https://www.kaggle.com/ravirajsinh45/real-life-industrial-dataset-of-casting-product?select=casting_data。 第一个是裂缝数据集,包含20,000张负样本墙图像(无裂缝)和20,000张正样本墙图像(有裂缝)。在这种情况下,裂缝被认为是异常的。所有数据都是227x227像素的RGB通道。 我们从没有异常的组中选取了10,000张图像来生成不同的合成数据集。然后合成的数据集被分为两种类型:一种是带有类似异常的噪声(51张图像是用Photoshop创建的),另一种是使用水果、植物和动物等随机物体。所有用作噪声的图像都是png格式的,背景是透明的。 第二个数据集,cast数据集分为两组,一组为512x512像素的图像(有异常的781张,无异常的519张),另一组为300x300像素的图像(有异常的3137张,有异常的4211张)。所有图像都有RGB通道。使用的是300 x 300像素的图像。后者,来自Kaggle,91.65%的数据被分为训练,其余的测试。对于该数据集,异常包括:边缘碎片、划痕、表面翘曲和孔洞。下面是一些有和没有异常的图像示例。 我们使用1,000张属于训练组的无缺陷图像来生成合成数据数据集。在前面的例子中,我们创建了两种类型的数据集:一种带有类似于异常的噪声(51张图像是用Photoshop创建的),另一种带有随机对象的噪声,如动物、花朵和植物(裂缝数据集中使用的相同的80张图像)。下面是一些在模型训练中使用的图像示例。 所有合成数据都是使用Flip库创建的。在每个生成的图像中,选择两个对象并随机放置。对象应用了三种类型的转换:翻转、旋转和调整大小。生成的图像保存为jpg格式。项目使用的数据集如下表所示: 实验 根据上述表格说明,我们的主要目的是研究数据集的哪些变化可能呈现最好的结果,我们用这些数据和获得的结果训练了模型(见下面的图表)。 对于每个数据集,我们评估了几个指标,如(SSIM)损失、召回、精度、F1和精度。在每一次实验中,我们将评估代表这组噪声图像和重建图像之间图像相似性的直方图。 为了跟踪和比较我们的结果,我们使用了library Weight & bias,它允许一种简单的方式来存储和比较每个实验的结果。 训练 为了在我们的环境中保持少量的变量,我们决定总是使用一个有1000个样本的数据集,而不管真实数据和合成数据之间的关系。 在算法中,我们将各自的数据集分割为95%进行训练,5%进行测试结果。除此之外,我们的评估只使用了真实的数据。 评估和结果 下面是一些实验的主要结果。你可在以下连结找到所有的结果: 裂缝数据集: https://wandb.ai/heimer-rojas/anomaly-detector-cracks?workspace=user- 裂缝直方图 裂缝数据集的异常检测 对于裂纹数据集,实验结果也很好(91% ~ 98%),实验之间没有显著差异。与无异常的图像相比,其行为主要取决于裂纹大小和颜色等变量。 铸造工件数据集: https://wandb.ai/heimer-rojas/anomaly-detector-cast?workspace=user-heimer-rojas 铸造工件数据集的准确率和召回率 铸造件E1&E3 铸造件数据集的异常检测 挑战 训练时间长,在谷歌Colab和专业版中使用GPU训练。 通过上传压缩后的zip格式的数据来解决长时间的数据加载问题,这样每个数据集上传一个文件,大大减少了时间。 最初的提议是使用哥伦比亚汽车生产线的数据集,不幸的是,正样本和负样本图像的质量和数量都不足以创建一个合适的机器学习模型。这种情况促使我们决定使用Kaggle的数据集,与生产线生产的条件类似。 每个数据集在异常情况下的可视化差异是不同的,需要考虑正常的图像结构,如图像的颜色、亮度等内在特征 需要人类的专业知识来根据真实数据或合成数据的阈值选择适当的阈值。这可能要视情况而定。 讨论 实现一个真正的机器学习项目需要几个步骤,从想法到模型的实现。这包括数据集的选择、收集和处理。 在使用图像的项目中有“调试脚本”是很重要的。在我们的例子中,我们使用了一个允许我们可视化的脚本:原始数据集、新的合成图像和自编码器去噪之后的图像,使我们能够评估模型的性能。 英文原文: https://medium.com/linkedai/anomaly-detection-production-line-b8340e1eca43 End 本文分享自微信公众号 - 智能算法(AI_Algorithm)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

计算机视觉处理三】图像基本处理

图像基本处理 1、图像切片 在前面我们了解到opencv中的图像实际上就是一个ndarray数组,我们对ndarray数组进行操作就是对图像进行操作。我们先来看一下切片查找,这是我们非常常用的一个操作。 (1)一维数组的切片 我们来看看切片的语法,对于一维的数组我们可以通过下面的操作获取第0个到第4个元素: array[0:5] 从上面可以知道我们的切片操作是左闭右开的。上面的切片操作我们可以简写一下: array[:5] 如果我们没有设置第一个值,则表示从头开始切片。当然我们还可以省略第二个值,这时含义就是取到最后一个元素,比如下面的操作: array[3:] 我们用一个实际的例子来看看切片操作: import numpy as np# 创建一个一维的ndarray数组,数据为[0, 1, 2, 3, 4, 5, 6, 7]array = np.array([0, 1, 2, 3, 4, 5, 6, 7])# 取0到4个元素print(array[0:5])print(array[:5])# 取第3个到最后一个元素print(array[3:]) 输出内容如下: [0 1 2 3 4][0 1 2 3 4][3 4 5 6 7] 我们可以把切片操作总结为: # 左闭右开array[start: end-1] 当我们以第0个开始,获取以最后一个结尾的话,对应的值是可以省略的。 (2)二维数组的切片 在图像处理中,我们更关注二维数组的切片。它的语法和一维数组很相似。为了方便理解,我们直接使用图片来进行切片,比如下面这张图片: 二维数组切片的语法如下: array[start:end-1, start:end-1] 现在我们需要明确一点,左边部分是对高的截取,右边部分是对宽的截取。那现在我要截取图片的左半部分的操作应该如下: import cv2# 读取图片img = cv2.imread('xyql.jpg')# 获取图片的宽,并除2width = img.shape[1]//2# 对图片进行切片,截取左半部分left = img[:, :width]# 显示图像三步骤cv2.imshow('left', left)cv2.waitKey(0)cv2.destroyAllWindows() 其中切片的代码是: left = img[:, :width] 左边的是截取高,我们需要全部截取,因此两个值都可以省略。右边我们只需要截取左半部分,因此左边的值可以省略,右边的值则是我们前面计算到的宽度。下面是效果图: 这里需要注意一点,彩色图像其实是三维的,但是我们没有操作第三个维度。 2、图片区域替换 既然我们知道如何切片,那我们就可以对指定区域进行替换。不过需要注意替换和被替换的区域形状要相同,即shape属性要一样。比如我要把图片左上角100*100的区域替换成白色,那我可以进行如下操作: import cv2import numpy as npimg = cv2.imread('1.jpg')# 创建一个100*100的白色图像replace_img = np.ones((100, 100), dtype=np.uint8)*255# 将图片左上角100*100区域替换img[:100, :100] = replace_img 运行后会发现报了如下错误: img[:100, :100] = replace_imgValueError: could not broadcast input array from shape (100,100) into shape (100,100,3) 它的意思是不能将(100, 100)的图像转换成(100, 100, 3)的图像,也就是形状不匹配。在替换时我们需要特别注意这一点,我们将上面的代码进行一些修改: import cv2import numpy as npimg = cv2.imread('xyql.jpg')replace_img = np.ones((100, 100, 3), dtype=np.uint8)*255img[:100, :100] = replace_img *这样我们就可以成功替换了,效果如下: 其实用上面的操作我们可以实现一个“双胞胎”效果,下面我们就来看看吧。 3、实现“双胞胎”效果 我们先准备两张图片,保证相机在没有移动的情况下拍两张图片,比如下面两张: 这是我刚拍的两张图片,因为相机没有移动,所以背景应该是一样的。我们可以通过下面的代码把两个梦幻合并到一张图片上: import cv2# 读取两张图片img1 = cv2.imread('mh1.JPG')img2 = cv2.imread('mh2.JPG')# 求出宽的中间值mid = img1.shape[1]//2# 把mh2的右半边替换到mh1的右半部分img1[:, mid:] = img2[:, mid:]# 将拼接后的图片保存到本地cv2.imwrite('result.jpg', img1) 上面代码非常简单,我们只需要关注下面这句: img1[:, mid:] = img2[:, mid:] img1和img2的shape都是一样的,截取的区域也是一样的,所以进行替换没有上面问题。最后我们通过: cv2.imwrite('result.jpg', img1) 对图片进行保存。因为我们是直接对img1进行操作,因此我们直接保存img1就好了。下面是我们的效果图: 这里需要多说一句,我只有一个梦幻。 4、numpy生成数组 在上一篇中我们使用下面的代码生成了一个数组: im = np.zeros((3, 3, 1), dtype=np.uint8) 对于数组numpy来说我们是生成一个数组,但是对opencv来说是生成一张图片。下面我们来看看numpy生成数组的一些操作。 (1)np.ones 我们可以通过numpy的ones函数生成一个元素全为1的数组,比如下面的代码: np.ones((100, 100), dtype=np.uint8) ones接收两个参数,第一个参数是数组的shape,第二关则是数组元素的类型,其中np.uint8表示无符号的8位整型,即范围在(0-255)之间。我们可以用opencv显示一下上面的图片: import cv2import numpy as np# 生成一个100*100的图片,每个元素的值都为1img = np.ones((100, 100), dtype=np.uint8)cv2.imwrite('result.jpg', img) 效果图如下: 因为1很接近0,所以图片的颜色接近于黑色。我们可以通过下面的操作对每个元素进行操作: import cv2import numpy as npimg = np.ones((100, 100), dtype=np.uint8) * 127cv2.imwrite('result.jpg', img) 我们生成元素为1的数组后,如何进行乘127的操作,这样就可以对每个元素进行乘127操作。这时候数组的每个元素都是127,下面是显示效果: 当然我们的图片是二维的,对opencv来说是一个灰度图。如果想要生成一个彩色图像,我们可以生成一个三维的图像,后续我们会继续讲解。 (2)np.zeros np.zeros和ones没有上面区别,只是它元素的内容是0。我们来简单看一下: import numpy as npimg = np.zeros((5, 5), dtype=np.uint8)print(img) 为了方便看,我们直接生成一个简单的数组,输出结果如下: [[0 0 0 0 0] [0 0 0 0 0] [0 0 0 0 0] [0 0 0 0 0] [0 0 0 0 0]] 其它的都不再细说了。 本文分享自微信公众号 - ZackSock(ZackSock)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册