欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB

程序员文章站 2022-06-11 11:30:51
...

这个学期在上数字图像处理这门课。这门课没有考试,只有大作业,要求使用labwindows和NI Vision进行开发。我选的题目是全景图像的合成(图像拼接),其中要使用到一些特征点检测和匹配的算法。本文主要讨论一下opencv中一些尺度不变特征检测算法的实现。


OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
乔帮主

1.概述

在计算机视觉领域,兴趣点(也称关键点特征点)的概念已经得到了广泛的应用,包括目标识别、图像配准、视觉跟踪、三维重建等。这个概念的原理是,从图像中选取某些特征点并对图像进行局部分析(即提取局部特征),而非观察整幅图像。只要图像中有足够多的可检测的兴趣点,并且这些兴趣点各不相同且特征稳定、能被精确地定位,上述方法就十分有效。

因为要用于图像内容的分析,所以不管图像拍摄时使用了什么视角、尺度和方位,理想情况下同一场景或目标位置都要检测到特征点。视觉不变性是图像分析中一个非常重要的属性,目前有大量关于它的研究。

目前一些广为人知的特征点检测算法有:

  1. 不带尺度不变特征的检测,如Harris、FAST、AGAST等。在我上一篇文章中提到过,本文不进行讨论。
  2. 尺度不变特征的检测,如SIFT、SURF、BRISK、ORB等。本文主要讨论SIFT。

2.算法原理

根据我的理解,尺度不变特征检测的算子基本都基于这样一个假设

对图像进行缩放或者进行高斯滤波,可以模拟人眼在不同距离下观察物体时的场景

SIFT算法的第一个步骤,就是通过对原图像进行不断的缩小和高斯滤波,生成图像金字塔,以用来进行后续的分析.

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
图像金字塔

SIFT算法使用了高斯差分(DOG)这个概念。高斯滤波器可以提取图像的低频成分,过滤的频率范围取决于参数σ。那么,用两个不同带宽的高斯滤波器对一幅图像做滤波,然后相减,就可以得到图像中的一定频段构成的图像。这种运算就叫高斯差分。而SIFT算法对每个Octave的图像进行不同程度的高斯滤波后生成高斯差分金字塔

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
高斯差分金字塔

得到DOG金字塔之后,通过检测不同层之间的图像的极值点来进行关键点的初步探查。这个过程很简单,就是与周围的像素点进行比较,当大于或小于所有相邻点时,即为极值点。下图中的X不仅要跟周围的O进行比较,还要跟上一层和下一层的9x2个O进行比较,才能确定是否是极值点。
OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
极值检测

我们找到的极值点是离散的,我们需要使用泰勒展开式来拟合真正的极值点

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
泰勒展开式(二阶)

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
精确定位

上述步骤找到的极值点很多都是处于边缘区域的点。我们要找的兴趣点是角点,角点的特征是纵向和横向的变化都很大,而边缘点只有一个方向变化比较大。于是,可以使用Hessian矩阵进行筛选。这个实际上是计算两个方向上的二阶导数。

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
Hessian(海塞)矩阵

得到特征点的位置之后,我们需要求取它们的方向。对于在DOG金字塔检测到的关键点,采集所在图像3σ邻域窗口内像素的梯度和方向特征,并进行统计。取幅值最高的方向为主方向,超过峰值百分之80的方向为辅方向

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
m为梯度幅值 Θ为幅角

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
确定主方向

我们已经得到了关键点的所需要的信息,接下来就是用一组向量将关键点描述出来。为了保证特征向量具有旋转不变性,需要将坐标轴旋转到关键点的方向。

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
坐标轴旋转

最后就是生成特征匹配点。将特征点邻域分为几个区块,计算八个方向的梯度方向直方图。这里有16个区域,所以生成了16x8=128个维度的数据。在进行统计之前,还要进行一次高斯加权,特征点附近的区域权值大,相反权值小。

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
采样

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
加权并统计

SIFT是十分经典的算法,但有以下缺点:

  • 实时性不高
  • 特征点比较少
  • 对边缘光滑的图像有时无能为力

至此,SIFT的原理介绍到这里。这个算法比较复杂,我花了不少时间去理解,但笔者水平有限,理解十分粗浅,可能会有错误。所以还是以维基和论文为准比较稳妥。

至于SURF、BRISK、ORB基本都是在SIFT算法的基础上进行改进,只要理解SIFT,其他算法相对而言也比较好办。这里不对其他算法进行讨论,读者可以查看文末贴出的博文自行了解。

3.算法实现

/******************************************************
 * Created by 杨帮杰 on 9/29/18
 * Right to use this code in any way you want without
 * warranty, support or any guarantee of it working
 * E-mail: aaa@qq.com
 * Association: SCAU 华南农业大学
 ******************************************************/

#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>


#define IMAGE1_PATH "/home/jacob/下载/church01.jpg"
#define IMAGE2_PATH "/home/jacob/下载/church02.jpg"

using namespace cv;
using namespace cv::xfeatures2d;
using namespace std;

int main()
{
    Mat image= imread(IMAGE1_PATH,0);
    if (!image.data)
        return 0;

    //SURF
    vector<KeyPoint> keypoints;

    //创建一个Hessian矩阵的阈值为2000的SURF检测器
    //这个值越大,检测到的点越少
    Ptr<SurfFeatureDetector> ptrSURF = SurfFeatureDetector::create(2000.0);
    ptrSURF->detect(image, keypoints);

    Mat featureImage;
    drawKeypoints(image,keypoints,featureImage,
                  Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

    imshow("IMAGE1_SURF",featureImage);

    cout << "Number of IMAGE1_SURF keypoints: " << keypoints.size() << endl;

    //读取第二个图像进行比较
    image = imread(IMAGE2_PATH,0);

    keypoints.clear();
    ptrSURF->detect(image,keypoints);

    drawKeypoints(image,keypoints,featureImage,
                  Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

    imshow("IMAGE2_SURF",featureImage);
    cout << "Number of IMAGE2_SURF keypoints: " << keypoints.size() << endl;


    //SIFT
    image = imread(IMAGE1_PATH,0);

    keypoints.clear();
    Ptr<SiftFeatureDetector> ptrSIFT = SiftFeatureDetector::create();
    ptrSIFT->detect(image, keypoints);

    drawKeypoints(image,keypoints,featureImage,
                  Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

    imshow("SIFT",featureImage);

    cout << "Number of SIFT keypoints: " << keypoints.size() << endl;

    //BRISK
    keypoints.clear();
    cv::Ptr<cv::BRISK> ptrBRISK = cv::BRISK::create(
        60,  // AGAST(FAST的加速版)检测的阈值,阈值越大检测到的点越小
        5);  // 金字塔的层数

    ptrBRISK->detect(image,keypoints);

    drawKeypoints(image,keypoints,featureImage,
                  Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

    imshow("BRISK", featureImage);

    cout << "Number of BRISK keypoints: " << keypoints.size() << endl;

    //ORB
    keypoints.clear();
    cv::Ptr<cv::ORB> ptrORB = cv::ORB::create(
        75, // 关键点的数量
        1.2, // 金字塔每一层的缩放比例
        8);  // 金字塔的层数
    ptrORB->detect(image, keypoints);

    drawKeypoints(image,keypoints,featureImage,
                  Scalar(255,255,255),DrawMatchesFlags::DRAW_RICH_KEYPOINTS);

    imshow("ORB",featureImage);

    cout << "Number of ORB keypoints: " << keypoints.size() << endl;

    waitKey();
    return 0;
}

结果如下


OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
SURF

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
SIFT、ORB、BRISK

OpenCV 尺度不变特征检测:SIFT、SURF、BRISK、ORB
关键点的数量

References:
SIFT算法详解
SIFT特征匹配算法介绍
SURF特征提取分析
BRISK特征提取算法
ORB特征提取与匹配
opencv计算机视觉编程攻略(第三版) —— Robert