SLAM之图像特征提取与匹配

0 写在前面

此篇博客，包括之后的一些SLAM系列博客，其实都是高翔博士的《视觉SLAM十四讲》读书笔记，在此向高博所做的工作致敬。对SLAM初学者而言，《视觉SLAM十四讲》非常适合入门，而且高博在深蓝学院开设了《SLAM理论与实践》课程，以视频+作业+答疑的模式，如果能够坚持下来，把每次作业和最后的大作业都完成，就可以说入门了。

1 实验背景

视觉SLAM主要分为视觉前端和优化后端。前端也称为视觉里程计（VO）。它根据相邻图像的信息，估计出粗略的相机运动，给后端较好的初始值。VO的实现方法，按是否需要提取特征，分为特征点法的前端和不提取特征的直接法前端。
基于特征法的前端，长久以来（直到现在）被认为是视觉里程计的主要方法。它运行稳定，对光照、动态物体不敏感，是目前比较成熟的解决方案。
在本实验中，将从特征点法入手，学习如何提取、匹配图像特征点。

2 实验目的

（1）实现并掌握特征提取和匹配的方法。
（2）熟悉OpenCV和Cmake的使用以及在Linux下的C++开发。

3 实验环境

硬件平台：惠普笔记本电脑
处理器：Intel® Core™ i5-7300HQ CPU @ 2.50GHz × 4
操作系统：ubuntu 14.04 LTS

3 理论基础

3.1 特征点

图像特征是一组与计算任务相关的信息，计算任务取决于具体的应用。
在视觉里程计中，我们希望特征点在相机运动之后保持稳定，而灰度值受光照、形变、物体材质的影响严重，在不同图像之间变化非常大，不够稳定。理想的情况是，当场景和相机视角发生少量变化时，我们还能从图像中判断哪些地方是同一个点，因此仅凭灰度值是不够的，我们需要对图像提取特征点。
计算机视觉领域的研究者们在长年的研究中，设计了许多稳定的局部图像特征，如著名的SIFT、SURF、ORB等等。相比朴素的角点，这些人工设计的特征点具有如下性质：

• 可重复性：相同的区域可在不同的图像中被找到。
• 可区别性：不同的区域有不同表达。
• 高效率：同一图像中，特征点的数量应远小于像素的数量。
• 本地性：特征仅与一小片图像区域有关。

特征点由关键点和描述子两部分组成。关键点是指特征点在图像中的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，按照某种人为设计的方式，描述了关键点周围像素的信息。
SIFT（尺度不变特征变换）是最为经典的一种特征，它充分考虑了在图像变换中出现的光照、尺度、旋转等变化，但随之而来的是极大的计算量。
FAST关键点是计算特别快的一种特征点，它考虑适当降低精度和鲁棒性，提升计算速度。
ORB特征则是目前看来非常具有代表性的图像特征，它改进了FAST检测子不具备方向性的问题，并采用速度极快的二进制描述子BRIEF，使整个图像特征提取的环节大大加速。

3.2 ORB特征

提取ORB特征分为两个步骤：
（1）FSAT角点提取：找出图像中的“角点”。相较于原版FAST，ORB中计算了特征点的主方向，为后续的BRIEF描述子增加了旋转不变性。
（2）BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述。

3.2.1 FAST关键点

FAST是一种角点，主要检测局部像素灰度变化明显的地方，以速度快著称。它的思想是：如果一个像素与它邻域的像素差别较大（过亮或过暗），那它更可能是角点。
FAST特征点数量很大且不确定，而我们往往希望对图像提取固定数量的特征。因此，在ORB中，对原始的FAST进行了改进。我们可以指定最终要提取的角点数量N，对原始FAST角点分别计算Harris值，然后选取前N个具有最大响应值的角点，作为最终的角点集合。
FAST角点不具有方向信息。而且，由于它取固定半径为3的圆，存在尺度问题：远处看着像是角点的地方，接近后看可能就不是角点了。针对FAST角点不具有方向性和尺度的缺点，ORB添加了尺度和旋转的描述。尺度不变性由构造图像金字塔，并在金字塔的每一层检测角点来实现，而特征的旋转是由灰度质心法实现的。

3.2.2 BRIEF描述子

BRIEF是一种二进制描述子，它的描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个像素（比如p和q）的大小关系：如果p比q大，则取1，反之就取0。如果我们选取了128个这样的p、q，最后就得到128维由0,1组成的向量。

3.3 特征匹配

特征匹配解决了SLAM中的数据关联问题，即确定当前看到的路标和之前看到的路标之间的对应关系。
最简单的特征匹配方法就是暴力匹配，即对每一个特征点与所有的特征点测量描述子的距离，然后排序，取最近的一个作为匹配点。描述子的距离表述了两个特征之间的相似程度。
然而，当特征点很多的时，暴力匹配的运算量就变得很大，特别是我们想匹配一个帧和一张地图的时候。这不符合我们在SLAM中的实时性需求。此时快速近似最近邻算法更加适合于匹配点数量极多的情况。

4 实验步骤

4.1 读取图像

首先下载两张相机发生微小运动的图像，保存在指定的路径下。

4.2 初始化

定义ORB特征的关键点和描述子。

4.3 特征提取

（1）检测 Oriented FAST 角点位置
（2）根据角点位置计算 BRIEF 描述子

4.4 特征匹配

（1）对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
（2）匹配点对筛选
找出所有匹配之间的最小距离和最大距离，即是最相似的和最不相似的两组点之间的距离，当描述子之间的距离大于两倍的最小距离时,即认为匹配有误。但有时候最小距离会非常小，设置一个经验值30作为下限。

4.5 绘制匹配结果

绘制ORB特征点，所有匹配点对和优化后的匹配点对。

5 实验结果

5.1 ORB特征点

下图中不同颜色的圆代表提取的ORB特征点。

5.2 所有匹配点对

5.3 优化后的匹配点对

所有匹配点对未经筛选，存在大量的误匹配。经过一次筛选之后，匹配数量减少了许多，但大多数匹配都是正确的。

6 总结

通过本次实验，我掌握了特征提取和匹配的方法，提高了在Linux下进行C++开发的能力。
实验中，对误匹配的处理，筛选的依据是汉明距离小于最小距离的两倍，这是一种工程上经验的方法，不一定有理论依据。不过，尽管在示例图像中能够筛选出正确的匹配，但不能保证在所有图像中得到的匹配都是正确的。因此，在后面的运动估计中，还需要使用去除误匹配的方法。
下一步实验计划理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动。

注意：OpenCV主要分为2和3两大版本，而且差异较大，不同版本对应的API会有所不同，所以要根据版本和文档正确使用。

附录

程序源码

include <iostream>
include <opencv2/core/core.hpp>
include <opencv2/features2d/features2d.hpp>
include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

int main ( int argc, char** argv )
{
    if ( argc != 3 )
    {
        cout<<"usage: feature_extraction img1 img2"<<endl;
        return 1;
    }
    //-- 读取图像
    Mat img_1 = imread ( argv[1], CV_LOAD_IMAGE_COLOR );
    Mat img_2 = imread ( argv[2], CV_LOAD_IMAGE_COLOR );

    //-- 初始化
    std::vector<KeyPoint> keypoints_1, keypoints_2;
    Mat descriptors_1, descriptors_2;
    Ptr<FeatureDetector> detector = FeatureDetector::create("ORB");
    Ptr<DescriptorExtractor> descriptor = DescriptorExtractor::create("ORB");
    Ptr<DescriptorMatcher> matcher  = DescriptorMatcher::create ( "BruteForce-Hamming" );

    //-- 第一步:检测 Oriented FAST 角点位置
    detector->detect ( img_1,keypoints_1 );
    detector->detect ( img_2,keypoints_2 );

    //-- 第二步:根据角点位置计算 BRIEF 描述子
    descriptor->compute ( img_1, keypoints_1, descriptors_1 );
    descriptor->compute ( img_2, keypoints_2, descriptors_2 );

    Mat outimg1;
    drawKeypoints( img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT );
    imshow("ORB特征点",outimg1);

    //-- 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
    vector<DMatch> matches;
    //BFMatcher matcher ( NORM_HAMMING );
    matcher->match ( descriptors_1, descriptors_2, matches );

    //-- 第四步:匹配点对筛选
    double min_dist=10000, max_dist=0;

    //找出所有匹配之间的最小距离和最大距离, 即是最相似的和最不相似的两组点之间的距离
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        double dist = matches[i].distance;
        if ( dist < min_dist ) min_dist = dist;
        if ( dist > max_dist ) max_dist = dist;
    }

    min_dist = min_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;
    max_dist = max_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;

    printf ( "-- Max dist : %f \n", max_dist );
    printf ( "-- Min dist : %f \n", min_dist );

    //当描述子之间的距离大于两倍的最小距离时,即认为匹配有误.但有时候最小距离会非常小,设置一个经验值30作为下限.
    std::vector< DMatch > good_matches;
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        if ( matches[i].distance <= max ( 2*min_dist, 30.0 ) )
        {
            good_matches.push_back ( matches[i] );
        }
    }

    //-- 第五步:绘制匹配结果
    Mat img_match;
    Mat img_goodmatch;
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, matches, img_match );
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch );
    imshow ( "所有匹配点对", img_match );
    imshow ( "优化后匹配点对", img_goodmatch );
    waitKey(0);

    return 0;
}