欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

ORB_SLAM2 源码阅读 ORB_SLAM2::ORBextractor

程序员文章站 2024-03-24 23:44:28
...

整体架构

构造函数进行初始化,传入设定几个重要的成员变量。nfeatures(特征点的个数)、nlevels(构造金字塔的层数)、scaleFactor(金字塔中相邻层图像的比例系数)、iniThFAST(检测 FAST 角点的阈值)、minThFAST(在 iniThFAST 没有检测到角点的前提下,降低的阈值)。

括号运算符对输入的图像进行角点检测。1. ComputePyramid 函数构造金字塔。2. ComputeKeyPointsOctTree 对金字塔图像进行角点检测。3. 计算角点的描述子,输出。

括号运算符 operator()

括号运算符输入图像,并且传入引用参数 _keypoints, _descriptors 用于存储计算得到的特征点及其描述子。

这种设计使得只需要构造一次 ORBextractor 就可以为所有图像生成特征点。

ComputePyramid 函数

我认为 ComputePyramid 函数中调用的 OpenCV 函数 copyMakeBorder 是没有意义的。

当 level == 0 时,或许有用,mvImagePyramid[level] 指向 temp 图像的中间,将 image 复制了进去。

当 level != 0 是,resize 函数就已经完成了工作。

copyMakeBorder 只是对 temp 图像的外围进行了修改,而 temp 图像的外围并不存在于影像金字塔中。

ComputeKeyPointsOctTree 函数

对影像金字塔中的每一层图像进行特征点的计算。具体的计算过程是将影像格网分割为小区域,每一个小区域独立使用 FAST 角点检测。检测完成之后使用 DistributeOctTree 函数对检测得到的所有角点进行筛选,使得角点分布均匀。

划分格网计算

I 确定计算角点的范围:

对影像“裁边”周围 EDGE_THRESHOLD-3 的像素不进行角点检测。

const int minBorderX = EDGE_THRESHOLD-3;
const int minBorderY = minBorderX;
const int maxBorderX = mvImagePyramid[level].cols-EDGE_THRESHOLD+3;
const int maxBorderY = mvImagePyramid[level].rows-EDGE_THRESHOLD+3;

II 确定确定格网的数量:

nCols, nRows 是宽高方向上格网的的数量,wCell, hCell 是每个格网的宽和高。

使用这种方式计算能够使得最后不完整的 Cell 尽可能不会太小。W 是预估 Cell 的宽高。

const float W = 30;

const int nCols = width/W;
const int nRows = height/W;
const int wCell = ceil(width/nCols);
const int hCell = ceil(height/nRows);

如 640*480 的影像,进行裁边之后是 608*448。计算得到:

nCols == 20, wCell == 31;
nRows == 14, hCell == 32;
nCols * wCell == 620;
620 % 31 == 19; // constrast to 608 % 30 == 8
nRows * hCell == 448;

III 循环生成每个 Cell 的角点:

最后计算的 Cell 的宽或高不会小于7。因为 FAST 计算的邻域是直径为7的 BressenHam 圆。

数字7与代码中出现的数字6对应。

最后生成的 FAST 角点存放在 vToDistributeKeys 中,坐标是以 (minBorderX, minBorderY) 为原点(左上)的坐标。

八叉树分配

DistributeOctTree 这个是八叉树分配的意思,但是函数中每次对节点进行分裂都是分裂成4个。

// If more than one point, subdivide
ExtractorNode n1,n2,n3,n4;
lit->DivideNode(n1,n2,n3,n4);

Excuse me,这东西叫 DistributeQuadTree 好不好?毕竟是在平面上划分。

I 水平划分:

将影像进行水平划分,nIni 是水平划分的数量,hX 是水平划分格子的宽度。

const int nIni = round(static_cast<float>(maxX-minX)/(maxY-minY));
const float hX = static_cast<float>(maxX-minX)/nIni;

注:这里有 bug,如果输入的是一张 宽高比 小于 0.5 的图像,nIni 计算得到 0,计算 hX 会报错。

将所有的特征点分配到 lNodes 的 node 中,vpIniNodes 存在的意义只是分配特征点。

对于每个 node 而言,若其只有一个特征点,bNoMore 为 true,表明其不用再继续划分。

II Node 四叉分裂:

进入循环

while(!bFinish)
{
...
}

i. 循环首先遍历 lNodes 中的每一个节点,对节点进行分裂:

ExtractorNode n1,n2,n3,n4;
lit->DivideNode(n1,n2,n3,n4);

分裂成 n1, n2, n3, n4 四个节点,将这四个节点中含有特征点的节点存入 lNodes 的最前面,因为是向后遍历的,不希望一次遍历下来会遍历到前面加进来的节点。如果分裂出的节点中特征点的个数大于1,说明还可以分裂,将特征点数、节点的指针存入 vSizeAndPointerToNode 中,nToExpand 计数器加1,后面会用于判断可分裂的能力。

ii. 在分裂成功之后进行判断

判断如果当前节点数量大于等于需要的特征点数量(N),或者分裂过程并没有增加节点的数量,说明不需要再进行分裂了,bFinish 设置为 true,可以跳出循环。

这个判断好像不是很充分,因为前面的分裂是整体的,只用一个数量参数来判断,有点牵强,有些分裂出的节点可以继续分裂。

如果上面的条件不满足,判断条件

((int)lNodes.size()+nToExpand*3)>N

是否满足。满足表明了再如果所有的节点再进行一次完全分裂(所有节点都能分裂成4个节点),可以满足特征点数量的要求。

vSizeAndPointerToNode 是前面分裂出来的子节点(n1, n2, n3, n4)中可以分裂的节点。按照它们特征点的排序,先从特征点多的开始分裂,分裂的结果继续存储在 lNodes 中。每分裂一个节点都会进行一次判断,如果 lNodes 中的节点数量大于所需要的特征点数量,退出整个 while(!bFinish) 循环。

如果进行了一次分裂,并没有增加节点数量,不玩了,退出整个 while(!bFinish) 循环。

III 取最大响应点:

在前面的工作完成时 lNodes 中节点的数量应该大于所需要的特征点数量 N,如果不是大于,那么很抱歉,也只能这样子了。

取出每一个节点中最大响应的特征点,存储进 vResultKeys 中。

函数返回。

总结

剩下的代码是在 ComputeKeyPointsOctTree 函数中对过滤出的特征点坐标进行调整,调整到整个图像的坐标,计算特征点的方向。

在 operator() 函数中计算特征点的描述子。