Python从零到壹丨详解图像锐化Roberts、Prewitt算子实现边缘检测
摘要：图像锐化和边缘提取技术可以消除图像中的噪声，提取图像信息中用来表征图像的一些变量，为图像识别提供基础。本章主要介绍Robert算子、Prewitt算子、Sobel算子、Laplacian算子、Scharr算子等。
本文分享自华为云社区《[Python从零到壹] 五十七.图像增强及运算篇之图像锐化Roberts、Prewitt算子实现边缘检测》，作者： eastmount 。
一.图像锐化
由于收集图像数据的器件或传输图像的通道存在一些质量缺陷，或者受其他外界因素的影响，使得图像存在模糊和有噪声的情况，从而影响到图像识别工作的开展。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时图像边缘信息主要集中在其高频部分。这将导致原始图像在平滑处理之后，图像边缘和图像轮廓模糊的情况出现。为了减少这类不利效果的影响，就需要利用图像锐化技术，使图像的边缘变得清晰[1]。
图像锐化处理的目的是为了使图像的边缘、轮廓线以及图像的细节变得清晰，经过平滑的图像变得模糊的根本原因是图像受到了平均或积分运算，因此可以对其进行逆运算，从而使图像变得清晰。微分运算是求信号的变化率，具有较强高频分量作用。从频率域来考虑，图像模糊的实质是因为其高频分量被衰减，因此可以用高通滤波器来使图像清晰。但要注意能够进行锐化处理的图像必须有较高的性噪比，否则锐化后图像性噪比反而更低，从而使得噪声增加比信号还要多，因此一般是先去除或减轻噪声后再进行锐化处理。这时需要开展图像锐化和边缘检测处理，加强原图像的高频部分，锐化突出图像的边缘细节，改善图像的对比度，使模糊的图像变得更清晰。
图像锐化和边缘提取技术可以消除图像中的噪声，提取图像信息中用来表征图像的一些变量，为图像识别提供基础。通常使用灰度差分法对图像的边缘、轮廓进行处理，将其凸显。图像锐化的方法分为高通滤波和空域微分法，本章主要介绍Robert算子、Prewitt算子、Sobel算子、Laplacian算子、Scharr算子等[2-3]。
1.一阶微分算子
一阶微分算子一般借助空域微分算子通过卷积完成，但实际上数字图像处理中求导是利用差分近似微分来进行的。梯度对应一阶导数，梯度算子是一阶导数算子。对一个连续函数f(x,y)，它在位置(x,y)梯度可表示为一个矢量：
梯度的模值为公式（2）所示。
梯度的方向在最大变化率方向上，梯度方向如公式（3）所示。
对于数字图像，导数可以用差分来近似，则梯度可以表示为：
在实际中常用区域模板卷积来近似计算，对水平方向和垂直方向各用一个模板，再通过两个模板组合起来构成一个梯度算子。根据模板的大小，其中元素值的不同，可以提出多种模板，构成不同的检测算子，后文中将对各种算子进行详细介绍。
由梯度的计算可知，在图像灰度变化较大的边沿区域其梯度值大，在灰度变化平缓的区域梯度值较小，而在灰度均匀的区域其梯度值为零。根据得到的梯度值来返回像素值，如将梯度值大的像素设置成白色，梯度值小的设置为黑色，这样就可以将边缘提取出来了，或者是加强梯度值大的像素灰度值就可以突出细节了达到了锐化的目的。
2.二阶微分算子
二阶微分算子是求图像灰度变化导数的导数，对图像中灰度变化强烈的地方很敏感，从而可以突出图像的纹理结构。当图像灰度变化剧烈时，进行一阶微分则会形成一个局部的极值，对图像进行二阶微分则会形成一个过零点，并且在零点两边产生一个波峰和波谷，设定一个阈值检测到这个过零点，如图1所示。
这样做的好处有两个，一是二阶微分关心的是图像灰度的突变而不强调灰度缓慢变化的区域，对边缘的定位能力更强；二是Laplacian算子是各向同性的，即具有旋转不变性，在一阶微分里，是用|dx|+|dy|来近似一个点的梯度，当图像旋转一个角度时，这个值就会变化，但对于Laplacian算子来说，不管图像怎么旋转，得到的相应值是一样的。
想要确定过零点要以p为中心的一个3×3领域，p点为过零点意味着至少有两个相对的领域像素的符号不同。有四种要检测的情况：左/右、上/下、两个对角。如果g(x,y)的值与一个阈值比较，那么不仅要求相对领域的符号不同，数值差的绝对值也要超过这个阈值，这时p称为一个过零点像素。二阶微分的定义为：
二阶微分在恒定灰度区域的微分值为零，在灰度台阶或斜坡起点处微分值非零，沿着斜坡的微分值为零。与一阶微分算子相比较，一阶微分算子获得的边界是比较粗略的边界，反映的边界信息较少，但是所反映的边界比较清晰；二阶微分算子获得的边界是比较细致的边界，反映的边界信息包括了许多的细节信息，但是所反映的边界不是太清晰。
二.Roberts算子
Roberts算子又称为交叉微分算法，它是基于交叉差分的梯度算法，通过局部差分计算检测边缘线条。常用来处理具有陡峭的低噪声图像，当图像边缘接近于正45度或负45度时，该算法处理效果更理想，其缺点是对边缘的定位不太准确，提取的边缘线条较粗。
Roberts算子的模板分为水平方向和垂直方向，如公式（6）所示，从其模板可以看出，Roberts算子能较好的增强正负45度的图像边缘[4]。
如公式（7）所示，分别表示图像的水平方向和垂直方向的计算公式。
Roberts算子像素的最终计算公式如下：
在Python中，Roberts算子主要通过Numpy定义模板，再调用OpenCV的filter2D()函数实现边缘提取[3]。该函数主要是利用内核实现对图像的卷积运算，其函数原型如下所示：
- dst = filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]])
– src表示输入图像
– dst表示输出的边缘图，其大小和通道数与输入图像相同
– ddepth表示目标图像所需的深度
– kernel表示卷积核，一个单通道浮点型矩阵
– anchor表示内核的基准点，其默认值为（-1，-1），位于中心位置
– delta表示在储存目标图像前可选的添加到像素的值，默认值为0
– borderType表示边框模式
在进行Roberts算子处理之后，还需要调用convertScaleAbs()函数计算绝对值，并将图像转换为8位图进行显示。其算法原型如下：
- dst = convertScaleAbs(src[, dst[, alpha[, beta]]])
– src表示原数组
– dst表示输出数组，深度为8位
– alpha表示比例因子
– beta表示原数组元素按比例缩放后添加的值
最后调用addWeighted()函数计算水平方向和垂直方向的Roberts算子。其运行代码如下：
# -*- coding: utf-8 -*-
# By:Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt
#读取图像
img = cv2.imread('luo.png')
lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
#灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#Roberts算子
kernelx = np.array([[-1,0],[0,1]], dtype=int)
kernely = np.array([[0,-1],[1,0]], dtype=int)
x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)
#转uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Roberts = cv2.addWeighted(absX,0.5,absY,0.5,0)
#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']
#显示图形
titles = ['原始图像', 'Roberts算子']
images = [lenna_img, Roberts]
for i in range(2):
plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray')
plt.title(titles[i])
plt.xticks([]),plt.yticks([])
plt.show()其运行结果如图2所示，左边为原始图像，右边为Roberts算子图像锐化提取的边缘轮廓。
三.Prewitt算子
Prewitt是一种图像边缘检测的微分算子，其原理是利用特定区域内像素灰度值产生的差分实现边缘检测。由于Prewitt算子采用3×3模板对区域内的像素值进行计算，而Robert算子的模板为2×2，故Prewitt算子的边缘检测结果在水平方向和垂直方向均比Robert算子更加明显。Prewitt算子适合用来识别噪声较多、灰度渐变的图像，其计算公式如下所示。
具体的水平和垂直方向计算公式如下所示：
Prewitt算子像素的最终计算如公式（11）所示。
在Python中，Prewitt算子的实现过程与Roberts算子比较相似。通过Numpy定义模板，再调用OpenCV的filter2D()函数实现对图像的卷积运算，最终通过convertScaleAbs()和addWeighted()函数实现边缘提取，代码如下所示：
# -*- coding: utf-8 -*-
# By:Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt
#读取图像
img = cv2.imread('luo.png')
lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
#灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#Prewitt算子
kernelx = np.array([[1,1,1],[0,0,0],[-1,-1,-1]],dtype=int)
kernely = np.array([[-1,0,1],[-1,0,1],[-1,0,1]],dtype=int)
x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)
#转uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Prewitt = cv2.addWeighted(absX,0.5,absY,0.5,0)
#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']
#显示图形
titles = ['原始图像', 'Prewitt算子']
images = [lenna_img, Prewitt]
for i in range(2):
plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray')
plt.title(titles[i])
plt.xticks([]),plt.yticks([])
plt.show()最终运行结果如图3所示，左边为原始图像，右边为Prewitt算子图像锐化提取的边缘轮廓，其效果图的边缘检测结果在水平方向和垂直方向均比Robert算子更加明显。
四.总结
本文主要介绍图像锐化和边缘检测知识，详细讲解了Roberts算子和Prewitt算子，并通过小珞珞图像进行边缘轮廓提取。图像锐化和边缘提取技术可以消除图像中的噪声，提取图像信息中用来表征图像的一些变量，为图像识别提供基础。
参考文献：
- [1] 冈萨雷斯著，阮秋琦译. 数字图像处理（第3版）[M]. 北京：电子工业出版社，2013.
- [2] 阮秋琦. 数字图像处理学（第3版）[M]. 北京：电子工业出版社，2008.
- [3] 陈初侠. 图像滤波及边缘检测与增强技术研究[D].合肥工业大学, 2009.
- [4] Eastmount. [Python图像处理] 四.图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波[EB/OL]. (2018-09-02). https://blog.csdn.net/Eastmount/article/details/82216380.
- [5] Eastmount. [数字图像处理] 七.MFC图像增强之图像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt锐化详解[EB/OL]. (2015-06-08). https://blog.csdn.net/eastmount/article/ details/46378783.
- [6] 毛星云. [OpenCV入门教程之九] 非线性滤波专场：中值滤波、双边滤波[EB/OL]. (2014-04-08). https://blog.csdn.net/poem_qianmo/article/details/23184547.
- [7] C. Tomasi, R Manduchi. Bilateral Filtering for Gray and Color images[C]. Proceedings of the IEEE International Conference on Computer Vision, Bombay, India. 1998:839-846.
