bundlefusion论文阅读笔记

 

4. 全局位姿对齐(glob pose alignment)

输入系统的是使用消费级的传感器获取的RGBD数据流，并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应，然后根据这些对应信息找到刚体相机变换Ti。Ti(p) = Rip + ti(Ri为旋转，ti为平移)，Ti实现从相机系到世界系的映射。并且将系统的第一帧作为世界系的坐标系。

4.1 搜索特征匹配（Feature Correspondence Search）

在这个系统框架下，首先搜索图像画帧之间的saprse correspondences，包括特征提取，特征匹配和外点剔除步骤。这些稀疏的对应将会被用在接下来的dense photometric correspondences的搜索中。针对每一个input frame都要先提取sift特征点，将提取的这些点与之前所有看到的帧进行匹配。之所以使用sift特征，是因为他考虑了相机扫描过程中发生的的图像的位移旋转和尺度的变化。搜索correspondence的工作都是在GPU中完成的。在这样的分辨率下，提取一帧图像的特征和计算描述子需要4-5ms，匹配两幅图像需要大概0.05ms。基于以上的一些指标，该系统可以实时处理大致20k的图像。

4.1.1 correspondece Filter

使用几何和光度的连续性的方法来过滤掉检测的不对的correspondences.

4.2 等级化的优化（Hirerachinal Optimization）

为了能够实时的处理成千上万的RGBD图像，我们使用了等级化的优化策略。输入的连续的图像序列被分割成小的chunk。在最低等级的优化中，我们在chunk内部实时优化。在第二等级优化中，使用所有的chunks中的代表关键帧以及该关键帧所在chunk内的相关的特征数据进行全局的优化。

LocalIntra-Chunk Pose Optimization(chunk内部的位姿优化)

chunk内部的位姿对齐优化时基于该chunk内的11个连续的图像帧数据的。连接的两个chunk之间有一个重叠的图像帧。局部位姿优化的目标是求解该chunk内任意一帧图像相对于chunk中的第一帧图像的变换{Ti}.通过搜索correspondences，构建代价方程，然后最小化代价方程的方式求解，代价方程中包含了稀疏特征correspondecs和dense photometric and geometric correspondences约束。因为每一个chunk内只包含很少的连续图像帧，并且chunk内的位姿变换也很小，所以可以将每一个Ti初始化为单位阵。为了确保局部位姿优化的精度，我们使用优化的局部轨迹对chunk内的每一对图像实时dense verification测试，如果重投影误差太大，大于0.05m,这个chunk就会别删除，并且也不会被用到全局优化中来。

Per-Chunk Keyframes

一旦一个chunk已经被处理完成，我们将该chunk中的第一帧图像定义为这个chunk的关键帧，同时也会计算这些关键帧的特征，得到keyframe feature set.根据chunk的优化的位姿估计，计算chunk内部的特征点在世界空间中的3D位置。我们将在<0.03m空间中的3D点用一个最佳的3D点来表示。一旦这个全局的关键帧和关键帧特征序列被创建，该chunk data(包括chunk内的特征点，描述子，和correspondences) 将被删除，因为在第二层的位姿对齐中用不到他们了。

Global Inter-Chunk Pose Optimization

和chunk内的位姿优化类似，chunk间的全局位姿优化也是进行全局特征点之间的稀疏特征匹配搜索和外点剔除。如果一个关键帧在过去看到的关键帧中找到任意的匹配，那么这个关键帧被标记为“独立” individual, 但是仍然被作为候选，允许被再次校验，当将来得到关键帧与该关键帧之间有联系。全局位姿优化需要计算所有全局关键帧的global alignments{Ti}，同样需要构建代价方程，最小化代价方程求解，同样在代价方程中包括，稀疏和稠密两种约束。使用对应的intra-chunk中优化的位姿的depta 变换来初始化全局关键帧的位姿。我们得到所有输入帧的全局一致性变换，通过将对应的delta transformations作用到，chunk中的每一帧图像，这样就可以得chunk内没一帧图像的位姿。

本文地址：https://blog.csdn.net/weixin_38636815/article/details/107295092