《视觉SLAM 十四讲》 第七讲 视觉里程计1 特征匹配 笔记

• 笔记部分
• 实践部分

双目图像中ORB特征点的提取和匹配代码分析
转载于(https://www.cnblogs.com/yuea777/p/10316997.html).

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

int main ( int argc, char** argv )
{
    if ( argc != 3 )
    {
        cout<<"usage: feature_extraction img1 img2"<<endl;
        return 1;
    }
    //-- 读取图像，以RGB格式读取
    Mat img_1 = imread ( argv[1], CV_LOAD_IMAGE_COLOR );
    Mat img_2 = imread ( argv[2], CV_LOAD_IMAGE_COLOR );

    //-- 初始化
    /*
    * 1. FeatureDetector特征检测器类，通过创建该类对象来使用多种特征检测方法。【用于检测指定特征点的角点位置】
         OpenCV2.4.3中提供了10种特征检测方法：FAST，SIFT，SURF，ORB，HARRIS，SimpleBlob，STAR，MSER，GFTT，Dense。
         这里使用ORB特征检测方法 
    * 2. DescriptorExtractor特征描述子提取类，提供了一些特征描述子提取的算法。
         其可以针对图像关键点，计算其特征描述子，其可以被表达成密集(dense)，即固定维数的向量。
         其计算方式为每隔固定个像素计算。
         一个特征描述子是一个向量，特征描述子的集合为Mat格式，每一行是一个关键点的特征描述子。
         OpenCV支持四种类型的特征描述子提取方法：SIFT，SURF，ORB，BRIEF。
    * 3. DescriptorMatcher特征匹配类，提供了一些特征点匹配的方法。
         该类主要包含图像对之间的匹配以及图像和一个图像集之间的匹配。
         OpenCV2中的特征匹配方法都继承自该类。
         对于误匹配情况，提供了KNNMatch方法。
    */
    std::vector<KeyPoint> keypoints_1, keypoints_2;  // 声明存放两张图片各自关键点的向量
    Mat descriptors_1, descriptors_2;           // 两张图片特征点的描述子，形式为向量
    Ptr<FeatureDetector> detector = ORB::create();    // 创建FeatureDetector类型的指针detector
    Ptr<DescriptorExtractor> descriptor = ORB::create();    // ORB特征描述子提取指针
    // Ptr<FeatureDetector> detector = FeatureDetector::create(detector_name);
    // Ptr<DescriptorExtractor> descriptor = DescriptorExtractor::create(descriptor_name);
    Ptr<DescriptorMatcher> matcher  = DescriptorMatcher::create ( "BruteForce-Hamming" );   // 匹配时计算描述子之间的距离使用汉明距离

    //-- 第一步:检测 Oriented FAST 角点位置，使用detect方法，将其存入Keypoints变量中
    detector->detect ( img_1,keypoints_1 );
    detector->detect ( img_2,keypoints_2 );

    //-- 第二步:根据角点位置计算 BRIEF 描述子，使用compute方法，将其存入descriptors变量中
    descriptor->compute ( img_1, keypoints_1, descriptors_1 );
    descriptor->compute ( img_2, keypoints_2, descriptors_2 );

    /*
    * 绘制第一幅图像的ORB特征点，注意这里要把图片的名称全改为英文才能正常显示。
    */
    Mat outimg1;
    drawKeypoints( img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT );
    imshow("ORB features.jpg",outimg1);

    //-- 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
    /*
    * Brute-Force(BF)匹配器，取第一个集合里一个特征的描述子并与第二个集合里所有特征的描述子计算距离，返回最近的特征点。
      其有两个方法：BFMatcher.match()和BFMatcher.knnMatch()，前者返回最匹配的特征点(仅一个)，后者返回k个最匹配的特征点，k由用户指定。
    */
    vector<DMatch> matches;   // DMatch类型的向量。
    //BFMatcher matcher ( NORM_HAMMING );
    matcher->match ( descriptors_1, descriptors_2, matches );   // 使用match方法，获取最匹配的两个特征点(匹配的特征点可以有多对，均存放在matche中)

    //-- 第四步:匹配点对筛选
    double min_dist=10000, max_dist=0;

    
    //找出所有匹配之间的最小距离和最大距离, 即是最相似的和最不相似的两组点之间的距离
    /*
    * descriptors的每行为一个特征点的描述子向量；图像1中有多少个特征点，matches中存储多少个匹配的图像2的特征点相关类型
    */
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        double dist = matches[i].distance;   // 得出每对匹配的描述子间的距离
        if ( dist < min_dist ) min_dist = dist;
        if ( dist > max_dist ) max_dist = dist;
    }
    
    // 仅供娱乐的写法
    min_dist = min_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;
    max_dist = max_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;

    printf ( "-- Max dist : %f \n", max_dist );
    printf ( "-- Min dist : %f \n", min_dist );

    
    /*
    * 对于误匹配情况采取的措施
    */
    //当描述子之间的距离大于两倍的最小距离时,即认为匹配有误.但有时候最小距离会非常小,设置一个经验值30作为下限.
    std::vector< DMatch > good_matches;
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        if ( matches[i].distance <= max ( 2*min_dist, 30.0 ) )
        {
            good_matches.push_back ( matches[i] );
        }
    }

    //-- 第五步:绘制匹配结果，数量分别为matches和good_matches
    Mat img_match;
    Mat img_goodmatch;
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, matches, img_match );
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch );
    imshow ( "all match features.jpg", img_match );  // 注意这里图片名要改成英文
    imshow ( "good match features.jpg", img_goodmatch );
    waitKey(0);

    return 0;
}