(三)OpenCV中的图像处理之形态转换和图像梯度
注释：本文翻译自OpenCV3.0.0 document->OpenCV-Python Tutorials，包括对原文档种错误代码的纠正
3.5 形态转换
3.5.1 目标：
- 学会不同的形态学操作，如:腐蚀、膨胀、开运算、闭运算等
- 学会这些函数：cv2.erode()、cv2.dilate()、cv2.morphologyEx()
3.5.2 原理
形态学操作是指一些基于图像形状的基本操作。它通常在灰度图像上执行。该操作需要两个输入，一个是二值图像，另一个是结构元素(内核)，它决定了操作的性质。两个最基本的形态学操作是腐蚀和膨胀，它们的变体是开运算、闭运算、渐变等。将以下面的图像为例逐个看到每个操作的结果。
3.5.3 腐蚀
腐蚀的基本思想就像土壤侵蚀，它侵蚀了前景物体的边缘（总是尽量保持前景物体白色）。那么它有什么作用呢？内核滑过图像，只有当内核下的所有像素都为1时，才能使原始图像中（1或0）中的像素置为1，否则将被侵蚀（置为0）.
所以情况是，边界附近的的所有像素将被丢弃，这取决于内核的大小，因此前景物体的厚度或尺寸将会变小。有助于分离两个连接的对象。
erosion = cv2.erode(img,kernel,iterations =1)
3.5.4 膨胀
正好与侵蚀相反，如果内核下至少有一个元素为“1”，那么像素元素置为“1”。它增加了前景对象的大小。通常，在噪声消除的情况下，腐蚀操作后是膨胀运算，因为腐蚀消除了白色的噪音，缩小了我们的对象，所以用膨胀扩大它，而噪声已经被消除了便不会再回来，但我们的对象面积增加了。该操作可以连接物体的断链部分。
dilation = cv2.dilate(img,kernel,iterations = 1)
3.5.5 开运算
先腐蚀后膨胀，有利于去除噪声，cv2.morphologyEx()
opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)
3.5.6 闭运算
先膨胀后腐蚀，有助于去除前景物体上的小斑点或噪音。
closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)
3.5.7 形态学梯度
这是被腐蚀图像和被膨胀图像的区别。使结果看起来像找到对象的轮廓。
gradient = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel)
3.5.8 顶帽
这是输入图像和执行了开运算图像的区别。
tophat = cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel)
3.5.9 黑帽
这是执行了闭运算的图像和输入图像之间的区别。
blackhat = cv2.morphologyEx(img, cv2.MORPH_BLACKHAT, kernel)
3.5.10 结构元素
在Numpy的帮助下，我们在前面的栗子中手动创建了一个矩形的结构化元素，但在某些情况下，我们可能需要圆形/椭圆的结构化元素（内核）。OpenCV中有一个函数cv2.getStructingElement(),只需要传入内核的形状和大小，就可以得到想要的内核。
# Rectangular Kernel
>>> cv2.getStructuringElement(cv2.MORPH_RECT,(5,5))
array([[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1]], dtype=uint8)
# Elliptical Kernel
>>> cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
array([[0, 0, 1, 0, 0],
[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1],
[1, 1, 1, 1, 1],
[0, 0, 1, 0, 0]], dtype=uint8)
# Cross-shaped Kernel
>>> cv2.getStructuringElement(cv2.MORPH_CROSS,(5,5))
array([[0, 0, 1, 0, 0],
[0, 0, 1, 0, 0],
[1, 1, 1, 1, 1],
[0, 0, 1, 0, 0],
[0, 0, 1, 0, 0]], dtype=uint8)
下面的栗子结合了腐蚀、膨胀、开运算、闭运算、形态学梯度
# -*- coding: utf-8 -*-
'''
形态转换：腐蚀、膨胀、开运算、闭运算
1.形态转换需要两个输入，一个是二值图像(灰度图像)，另一个是内核；
2.两个最基本的形态学操作是腐蚀和膨胀，它们的变体是开运算、闭运算、渐变等
以下栗子结合腐蚀、膨胀、开运算、闭运算,形态学梯度
'''
import cv2
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
img = cv2.imread('14.png')
# 构造5*5的内核
kernel = np.ones((5, 5), np.uint8)
# 腐蚀：cv2.erode()
erosion = cv2.erode(img, kernel, iterations=1)
# 膨胀：cv2.dilate()
dilation = cv2.dilate(img, kernel, iterations=1)
# 开运算：先腐蚀膨胀，有助于去除噪声 cv2.morphologyEx()
opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)
# 闭运算：先膨胀后腐蚀，有助于去除前景物体上的小斑点或噪声
closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)
# 形态学梯度：这是被腐蚀和被膨胀图像的区别，看起来更像找到轮廓的对象
gradient = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel)
# 顶帽：这是输入图像和执行了开运算图像的区别
tophat = cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel)
# 黑帽：这是执行了闭运算和输入图像之间的区别
blackhat = cv2.morphologyEx(img, cv2.MORPH_BLACKHAT, kernel)
titles = ["原图", "腐蚀", "膨胀", "开运算", "闭运算", "形态学梯度", "顶帽", "黑帽"]
images = [img, erosion, dilation, opening, closing, gradient, tophat, blackhat]
for i in range(8):
plt.subplot(2, 4, (i + 1)), plt.imshow(images[i]), plt.title(titles[i])
plt.xticks([]), plt.yticks([])
plt.show()
结果如下：
3.6 图像梯度
3.6.1 目标：
- 找到图像的梯度、边缘等
- 学会这些函数：cv2.Sobel()、cv2.Scharr()、cv2.Laplacian()
3.6.2 原理
OpenCV提供了三种类型的梯度滤波器/高通滤波器，Sobel、Scharr和laplacian,这里会一一介绍。
1.Sobel导数和Scharr导数
Sobel操作数是高斯平滑加分散操作的联合，因此更能抵抗噪音。 您可以指定要采取的导数的方向，垂直方向或水平方向（分别为参数yorder和xorder）。 您还可以通过参数ksize指定内核的大小。 如果ksize = -1，则使用3x3 Scharr滤波器，该滤波器比3x3 Sobel滤波器有更好的结果。请参阅使用的内核文档。
2.拉普拉斯导数
它计算由关系式 的拉普拉斯算子，该表达式中的导数都是Scharr导数，如果kszie=-1，那么下面的内核会用于滤波：
以下代码显示了在一张图上的所有操作，所有内核大小为5*5，输出图像的深度被置为-1，结果图的类型是np.unit8.
# -*- coding: utf-8 -*-
'''
图像梯度：OpenCV提供了三种类型的梯度滤波器/高通滤波器，Sobel、Scharr和laplacian
'''
import cv2
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
img = cv2.imread('sudoku.png',0)
laplacian = cv2.Laplacian(img, cv2.CV_64F)
sobelX = cv2.Sobel(img, cv2.CV_64F, 1, 0, ksize=5)
sobelY = cv2.Sobel(img, cv2.CV_64F, 0, 1, ksize=5)
plt.subplot(2, 2, 1), plt.imshow(img, cmap='gray')
plt.title("Original"), plt.xticks([]), plt.yticks([])
plt.subplot(2, 2, 2), plt.imshow(laplacian, cmap='gray')
plt.title("Laplacian"), plt.xticks([]), plt.yticks([])
plt.subplot(2, 2, 3), plt.imshow(sobelX, cmap='gray')
plt.title("sobelX"), plt.xticks([]), plt.yticks([])
plt.subplot(2, 2, 4), plt.imshow(sobelY, cmap='gray')
plt.title("sobelY"), plt.xticks([]), plt.yticks([])
plt.show()
结果如下：
3.6.3 一件重要的事
在我们的最后一个栗子中，输出数据类型是cv2.CV_8U或np.unit8.但是有一个小问题，做黑白转换时具有正斜率（它具有正值），而做白黑转换时具有负斜率（它具有负值）。所以当你将数据转换为np.uint8时，所有的负斜率均为零。简单来说，你错过了这个边缘。
如果要检测到这两个边，更好的选择是将输出数据类型保持为一些较高的形式，如cv2.CV_16S，cv2.CV_64F等，取其绝对值，然后转换回cv2.CV_8U。下面的代码演示了水平Sobel滤波器的这个过程以及结果的差异。
代码如下：
import cv2
import numpy as np
from matplotlib import pyplot as plt
img = cv2.imread('sudoku.png', 0)
# Output dtype = cv2.CV_8U
sobelx8u = cv2.Sobel(img, cv2.CV_8U, 1, 0, ksize=5)
# Output dtype = cv2.CV_64F. Then take its absolute and convert to cv2.CV_8U
sobelx64f = cv2.Sobel(img, cv2.CV_64F, 1, 0, ksize=5)
abs_sobel64f = np.absolute(sobelx64f)
sobel_8u = np.uint8(abs_sobel64f)
plt.subplot(1, 3, 1), plt.imshow(img, cmap='gray')
plt.title('Original'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 2), plt.imshow(sobelx8u, cmap='gray')
plt.title('Sobel CV_8U'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 3), plt.imshow(sobel_8u, cmap='gray')
plt.title('Sobel abs(CV_64F)'), plt.xticks([]), plt.yticks([])
plt.show()
结果：