欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

(四)OpenCV中的特征检测之Harris Corner检测

程序员文章站 2022-07-14 15:41:52
...

注释:本文翻译自OpenCV3.0.0 document->OpenCV-Python Tutorials,包括对原文档种错误代码的纠正

1.目标

  • 我们将了解harris corner detection背后的概念
  • 学习函数:cv2.cornerHarris()、cv2.cornerSubPix()

2.理论

在上一章中,我们看到角落是图像中各个方向强度变化很大的区域。早在1988年,Chris Harris & Mike Stephens就在其论文A Combined Corner and Edge Detector中发现了这些角落的一个早期尝试,现在它被称为harris Corner Detector。他把这个简单的思想变成了一种数学形式。它基本找到了所有方向上的(u,v)位移的强度差异。这表示如下:

(四)OpenCV中的特征检测之Harris Corner检测

窗口函数是一个矩形窗口或高斯窗口,它给在其中的像素加权。

我们必须使边角检测的函数(四)OpenCV中的特征检测之Harris Corner检测 最大化,这意味着,我们必须最大限度地利用第二个参数。将泰勒展开式应用于上述方程并使用一些数学步骤(请参阅你喜欢的任何标准教科书以获得完整推导),我们的最终方程式为:

(四)OpenCV中的特征检测之Harris Corner检测

其中M为:

(四)OpenCV中的特征检测之Harris Corner检测

这里I_x和I_y分别是在x和y方向上的导数(使用cv2.Sobel()可以得到)。

然后是主要部分。在此之后,他们创建了一个分数,基本上是一个等式,它将决定一个窗口是否可以包含边角。

(四)OpenCV中的特征检测之Harris Corner检测

其中:

  • (四)OpenCV中的特征检测之Harris Corner检测
  • (四)OpenCV中的特征检测之Harris Corner检测
  • (四)OpenCV中的特征检测之Harris Corner检测(四)OpenCV中的特征检测之Harris Corner检测 是M的特征值

所以这些特征值的值决定了一个区域是角落,边缘还是平面。

  • (四)OpenCV中的特征检测之Harris Corner检测 很小,也就是介于(四)OpenCV中的特征检测之Harris Corner检测(四)OpenCV中的特征检测之Harris Corner检测 之间,该区域是平面.
  • (四)OpenCV中的特征检测之Harris Corner检测 ,也就是当(四)OpenCV中的特征检测之Harris Corner检测 或相反时,该区域是边缘.
  • (四)OpenCV中的特征检测之Harris Corner检测 很大,即当 (四)OpenCV中的特征检测之Harris Corner检测(四)OpenCV中的特征检测之Harris Corner检测 都很大并且R介于 (四)OpenCV中的特征检测之Harris Corner检测 之间, 该区域是边角.

可以如下图表示:

(四)OpenCV中的特征检测之Harris Corner检测

所以Harris Corner检测的结果是一个灰度图像与这些数值,合适的阈值会给出图像中的边角。所以我们会用一个简单的图像来做到这点。

3.OpenCV中的harrisCorner检测器

为此,OpenCV中有cv2.cornerHarris(),它的参数是:

  • Img:输入图像,应该是灰度和float32类型
  • blockSize:这是考虑边角检测的领域大小
  • ksize:使用Sobel衍生物的孔径参数
  • k:harris Corner检测器的*参数

下面是一个栗子:

# -*- coding: utf-8 -*-
'''
harris Corner检测
1.OpenCV中的函数cv2.cornerHarris()和cv2.cornerSubPix()
2.cv2.cornerharris()参数:
    img:输入图像
    blockSize:这是考虑检测的领域大小
    ksize:使用Sobel衍生物的孔径参数
    k:harris Corner检测器的*参数

'''
import cv2
import numpy as np

filename = 'blox.jpg'
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

gray = np.float32(gray)
dst = cv2.cornerHarris(gray, 2, 3, 0.04)

# 结果是扩大标记的角落,不重要
dst = cv2.dilate(dst, None)

# 最佳值的阈值,它可能因图像而异
img[dst > 0.01 * dst.max()] = [0, 255, 0]

cv2.imshow('dst', img)
if cv2.waitKey(0) & 0xFF == 27:
    cv2.destroyAllWindows()

结果:

(四)OpenCV中的特征检测之Harris Corner检测

4.具有SubPixel准确度的角落(Corner with SubPixel Accuracy)

有时候,你可能需要以最高精度找到角点。OpenCV带有一个函数cv2.cornerSubPix().它进一步细化了以亚像素检测到的角点。下面是一个栗子。像往常一样,我们需要先找到Harris Corner,然后通过这些角的质心(可能有一些像素位于角落,我们取其质心)来优化它们。Harris Corner的角落标记为红色像素,精致的角落标记为绿色像素。对于这个函数,我们必须定义何时停止迭代的标准。我们停止指定的迭代次数或达到一定的准确度,以先发生者为准。我们还需定义要搜索拐角的领域的大小。

# -*- coding: utf-8 -*-
'''
具有subPixel准确度的角落:
有时候需要以高精确度找到角点。使用cv2.cornerSubPix(),它进一步细化了以亚像素检测到的角点。
1.要先寻找harris corner,然后找到这些点的质心。
2.下面栗子中,harris corner的角落标记为红色像素,精致的角落标记为绿色像素。
3.还需要搜索拐角领域的大小
'''

import cv2
import numpy as np

filename = 'blox.jpg'
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 找到harris corner
gray = np.float32(gray)
dst = cv2.cornerHarris(gray, 2, 3, 0.04)
dst = cv2.dilate(dst, None)
ret, dst = cv2.threshold(dst, 0.01 * dst.max(), 255, 0)
dst = np.uint8(dst)

# 找到质心
ret, labels, states, centroids = cv2.connectedComponentsWithStats(dst)
# 定义停止和改进角落的标注
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv2.cornerSubPix(gray, np.float32(centroids), (5, 5), (-1, -1), criteria)

# 现在绘制它们
res = np.hstack((centroids, corners))
res = np.int0(res)
img[res[:, 1], res[:, 0]] = [0, 0, 255]  # 红色
img[res[:, 3], res[:, 2]] = [0, 255, 0]  # 绿色

cv2.imwrite('subpixel5.png', img)
cv2.imshow('res', img)
cv2.waitKey(0) & 0xFF
cv2.destroyAllWindows()

结果:

(四)OpenCV中的特征检测之Harris Corner检测