CVPR2020:FiltReg一种新的刚体模型的参数化概率配准方法

概率点集配准方法因其对噪声，离群值和遮挡的鲁棒性而受到越来越多的关注。但是，这些方法往往比流行的迭代最近点（ICP）算法要慢得多，后者严重限制了它们的可用性。本文中提供了一种新颖的概率配准方法，该方法可以实现最先进的鲁棒性，并且比现代ICP实施方案具有更快的计算性能。这是使用有效的概率公式实现的。点集配准被转换为最大似然估计，并使用EM算法求解。通过简单的扩充，EM中的E步可以表述为过滤问题，从而能够利用低效的高斯滤波方法。另外定制四面体滤波器[1]可以提高效率，同时又可以为本文的任务保留足够的精度。此外本文还提出了一种简单有效的扭曲参数化方法，推广到了铰接和可变形物体的配准上。对于关节对象，本文方法的复杂性几乎与*度（DOF）无关。结果表明，所提出的方法在各种配准任务上始终优于许多竞争基准。

[1]A. Adams, J. Baek, and M. A. Davis. Fast high-dimensional
filtering using the permutohedral lattice. In Computer
Graphics Forum, volume 29, pages 753–762. Wiley Online
Library, 2010. 1, 4

1.引言

点集配准是通过估计两个点云的相对转换来对齐它们的任务。这个问题是许多实际视觉系统的基本组成部分，例如SLAM，物体姿态估计，密集3d重建以及对关节和可变形物体的交互式跟踪。

ICP 算法是用于此任务的最广泛使用的方法。 ICP可以建立最近邻对应关系，并最大程度地减少点对距离。借助KD-tree等空间索引，ICP可以提供相对较快的性能。 下面两篇文献提供了全面的回顾和比较。

F. Pomerleau, F. Colas, R. Siegwart, et al. A review of point
cloud registration algorithms for mobile robotics. Founda-
tions and Trends R in Robotics, 4(1):1–104, 2015. 1
F. Pomerleau, F. Colas, R. Siegwart, and S. Magnenat. Com-
paring ICP Variants on Real-World Data Sets. Autonomous
Robots, 34(3):133–148, Feb. 2013. 1

尽管ICP算法很受欢迎，但它容易受到噪声，离群值和遮挡的影响。因此，已经对使用概率模型进行点集配准进行了大量研究，这在原则上可以提供更好的离群值拒绝。此外，如果给每个点高斯方差，点云可以解释为高斯混合模型（GMM）。大多数统计配准方法都建立在GMM之上，并凭经验提供改进的鲁棒性。但这些方法往往比ICP慢得多，几乎无法扩展到大点云，严重限制了它们的实际可用性。

点集配准
S. Gold, A. Rangarajan, C.-P. Lu, S. Pappu, and E. Mjol-
sness. New algorithms for 2d and 3d point matching:
Pose estimation and correspondence. Pattern recognition,
31(8):1019–1031, 1998. 1
S. Granger and X. Pennec. Multi-scale em-icp: A fast and
robust approach for surface registration. In European Con-
ference on Computer Vision, pages 418–432. Springer, 2002.
1, 2, 7
A. Myronenko and X. Song. Point set registration: Coherent
point drift. IEEE Transactions on Pattern Analysis and Ma-
chine Intelligence, 32(12):2262–2275, Dec 2010. 1, 2, 3, 6,
7

本文提出了一种新颖的概率配准算法，该算法实现了最先进的鲁棒性，并且比现代ICP实现方案的运算性能大大提高。基于这一点提出了一个计算效率高的概率模型，并将配准转换为最大似然估计，这可以使用EM算法来解决。通过简单的扩充，将E步公式化为一个过滤问题，并利用有效的高斯滤波器来解决它。还提出了一种定制的四面体过滤器，该过滤器具有更高的效率，同时又能为本文的任务保留足够的精度。本文的方法与基于GMM的最新方法一样稳健。在速度方面，采用CPU的方法比现代ICP实施快3-7倍，比典型的基于GMM的鲁棒方法快几个数量级。所提出的方法可以实现GPU并行化，并且比CPU实现速度快7倍。

高斯滤波器
A. Adams, J. Baek, and M. A. Davis. Fast high-dimensional
filtering using the permutohedral lattice. In Computer
Graphics Forum, volume 29, pages 753–762. Wiley Online
Library, 2010. 1, 4
A. Adams, N. Gelfand, J. Dolson, and M. Levoy. Gaussian
kd-trees for fast high-dimensional filtering. In ACM Trans-
actions on Graphics (ToG), volume 28, page 21. ACM, 2009.
1, 4
J. Chen, S. Paris, and F. Durand. Real-time edge-aware im-
age processing with the bilateral grid. In ACM Transactions
on Graphics (TOG), volume 26, page 103. ACM, 2007. 1, 4

另外还提出了一种简单有效的扭曲参数化方法，将本文的方法扩展到了铰接和节点图的可变形对象。本文的方法易于实现，并且在直接参数化方面可以大大提高速度。对于铰接的物体，本文方法的复杂性几乎与*度无关，这使得它甚至对于高*度系统也非常有效。结合这些组成部分，提出了一种强大，高效和在各种配准任务上优于许多竞争基准的通用配准方法。

2.配准概率模型

2.1 概率公式

本小节介绍了概率模型点集配准。用X，Y表示两点集合$x_1，x_2，.. x_M$x1​，x2​，..xM​和$y_1，y_2，...，y_N$y1​，y2​，...，yN​是X和Y中的点。将模型X定义为由运动参数θ控制的点集。另一个点集Y定义为在配准过程中固定的观察结果。

基于联合分布$p(X,Y,θ)$p(X,Y,θ)。假设给定模型几何X，则观测值Y在取决于θ，联合分布$p(X,Y,θ)$p(X,Y,θ)可以是分解为

其中$φ_{geometric}(X，Y)$φgeometric​(X，Y)是编码几何关系的势函数(potential function),势函数$φ_{kinematic}(X，θ)$φkinematic​(X，θ)对运动模型进行编码。 $φ_{kinematic}(X，θ)$φkinematic​(X，θ)还可以编码硬约束，例如$X = X(θ)$X=X(θ)和/或软运动正则器，例如平滑项和非渗透项。

平滑项
A. Myronenko and X. Song. Point set registration: Coherent
point drift. IEEE Transactions on Pattern Analysis and Ma-
chine Intelligence, 32(12):2262–2275, Dec 2010. 1, 2, 3, 6,
7
R. A. Newcombe, D. Fox, and S. M. Seitz. Dynamicfusion:
Reconstruction and tracking of non-rigid scenes in real-time.
In Proceedings of the IEEE conference on computer vision
and pattern recognition, pages 343–352, 2015. 2, 8
非渗透项
J. Schulman, A. Lee, J. Ho, and P. Abbeel. Tracking de-
formable objects with point clouds. In Robotics and Automa-
tion (ICRA), 2013 IEEE International Conference on, pages
1130–1137. IEEE, 2013. 2, 3

进一步假设运动学模型$φ_{kinematic}(X，θ)$φkinematic​(X，θ)已经捕获了模型点内的依赖性X。因此，以运动参数θ为条件，这些点在X中彼此独立。分布可以是进一步考虑为

!在这里插入图片描述
图 1 提出的概率模型的说明。 顶部：在较高的层次上，提出的公式假设观测值Y引入了概率分布，而CPD 假定模型X引入了由运动参数θ控制的分布。 下图：本文配准和CPD配准的因子图表示。

模型的因子图表示如图1所示。通过这些因子分解方案，可以将条件分布写为

遵循几项现有的工作，让每个模型点的几何分布为GMM，

其中$p(x_i|y)=N(x_i;y_i,\sum_{xyz})$p(xi​∣y)=N(xi​;yi​,∑xyz​)是高斯分布的概率密度函数（PDF）,$y_i$yi​是高斯质心，并且$\sum_{xyz}=diag(\sigma^2_x,\sigma^2_y,\sigma^2_z)$∑xyz​=diag(σx2​,σy2​,σz2​)是对角协方差矩阵。

添加了一个额外的均匀分布$p(x_i|y_{N+1})=1/M$p(xi​∣yN+1​)=1/M以解决噪声和异常值。 对所有GMM分量使用相等的隶属概率$P(y_i)=1/N$P(yi​)=1/N，并引入参数$0≤w≤1$0≤w≤1来表示离群值比率。

通过最大化以下对数似然来估计运动参数θ和模型点X，

在这里将局限于运动学模型X = X（θ）。 使用EM算法来解决此优化问题。 EM程序是

E步：对于每个$x_i$xi​，计算

M步:最小化以下目标函数

其中$M^0_x$Mx0​和$M^1_x$Mx1​在公式6中计算，$c=\frac{w}{1-w}\frac{N}{M}$c=1−ww​MN​，w是代表离群值比率的参数。

EM程序在概念上与ICP有关。 加权平均目标点$(M^1_{x_i}/M^0_{x_i})$(Mxi​1​/Mxi​0​)替换ICP中最近的邻居，每个模型点的权重为$\frac{M^0_{x_i}}{M^0_{x_i}+c}$Mxi​0​+cMxi​0​​。直观地，平均目标为观察中的噪声提供了鲁棒性，而每个模型点的权重应拒绝模型中的异常值。

2.2 几个扩展

本节所提供的概率公式可以扩展为包含许多公认的基于GMM的配准技术。 另外，这些扩展可以使用基于过滤器的E步在一个统一的框架中高效地计算。 本文选择了[25]中提出的优化方差，[32]中的特征对应和[6]中的点对平面残差作为三个实际重要的示例，尽管许多其他方法也可以以非常相似的方式进行集成。

特征：当前在E步骤（6）中，仅3d定位用于测量模型和观测点之间的相似性。 类似于[32]，可以扩展E步骤以合并SHOT ，学习的特征[31]或它们的串联之类的特征。 任意特征的E步骤是

其中，$f_{xi}$fxi​和$f_{yk}$fyk​是点xi和yk的特征值，$\sum_f$∑f​是特征的对角协方差。

学习的特征
T. Schmidt, R. Newcombe, and D. Fox. Self-supervised
visual descriptor learning for dense correspondence. IEEE
Robotics and Automation Letters, 2(2):420–427, 2017. 3
特征对应
J. Schulman, A. Lee, J. Ho, and P. Abbeel. Tracking de-
formable objects with point clouds. In Robotics and Automa-
tion (ICRA), 2013 IEEE International Conference on, pages
1130–1137. IEEE, 2013. 2, 3

优化方差：在之前的公式中，高斯核$Σxyz$Σxyz的方差用作固定参数。 类似于CPD，如果$Σxyz= diag（σ2，σ2，σ2）$Σxyz=diag（σ2，σ2，σ2），则方差σ可以解释为决策变量，并可以进行分析优化。

**优化方差**
A. Myronenko and X. Song. Point set registration: Coherent
point drift. IEEE Transactions on Pattern Analysis and Ma-
chine Intelligence, 32(12):2262–2275, Dec 2010. 1, 2, 3, 6,
7

点到平面的距离：M步骤（7）中的物镜类似于ICP中的点到点距离，它没有捕获平面结构。 一个简单的解决方案是计算法线方向以表征目标附近的局部平面结构$(M^1_{x_i}/M^0_{x_i})$(Mxi​1​/Mxi​0​)

其中$N_{yk}$Nyk​是观测点yk的法线。 这样，M步骤中的目标就是点到平面误差

**点到平面的距离**
D. Chetverikov, D. Stepanov, and P. Krsek. Robust euclidean
alignment of 3d point sets: the trimmed iterative closest point
algorithm. Image and Vision Computing, 23(3):299–309,
2005. 3, 6, 7

3.E步：基于过滤器的回应

3.1 通用形式

在本节讨论计算E步骤（6）和几个扩展项（8和9）的方法。 这些特定的E步可以写成以下广义形式

其中$v_{yk}$vyk​概括了（6，8）中的3d定位yk和单位重量以及（9）中的法线$N_{yk}$Nyk​。 $G（f_{x_i}）$G（fxi​​）概括了（6，8）中的$M^0_{x_i}$Mxi​0​和$M^1_{x_i}$Mxi​1​以及（9）中的正态$N_{xi}$Nxi​。 特征$f_{x_i}$fxi​​和$f_{y_k}$fyk​​概括了高斯PDF $N（x_i; y_k，Σ_{xyz}）$N（xi​;yk​，Σxyz​）中3d定位xi和yk。 将特征$f_{x_i}$fxi​​和$f_{y_k}$fyk​​归一化以具有恒等协方差。为了简化符号表示，省略了Guassian PDF $N（x_i; y_k，Σ_{xyz}）$N（xi​;yk​，Σxyz​）的归一化常数$det（2πΣ_{xyz}）^{\frac{−1}{2}}$det（2πΣxyz​）2−1​。

等式 （11）被称为通用高斯变换，并为此提出了改进的快速高斯变换（IFGT）。 但是，IFGT 在内部使用k均值树，并且配准中的典型参数将有太多的k均值质心。 对于本文的任务，改进的快速高斯变换并不比蛮力评估快多少。

相反，本文建议使用高斯滤波算法计算（11），该算法证明了图像处理的准确性和效率。 这些算法加速的过滤操作是

这是一般高斯变换的子集：用于检索过滤值$G(f_{y_i})$G(fyi​​)的特征$f_{y_i}$fyi​​必须包含在输入点集Y中。

在本文的情况下，从另一个点云X使用特征$f_{x_i}$fxi​​检索值$G(f_{x_i})$G(fxi​​)，该值不能直接在（12）中表示。 为了解决这个问题，增加以下输入：

其中$F_X = [fx_1，fx_2，...，fx_M]$FX​=[fx1​，fx2​，...，fxM​]，$F_Y = [f_{y1}，f_{y2}，...，f_{yN}]$FY​=[fy1​，fy2​，...，fyN​]和$V_Y = [v_{y1}，v_{y2}，...，v_{yN}]$VY​=[vy1​，vy2​，...，vyN​]。 新的输入功能“过滤器输入”和“值V过滤器输入”适用于这些过滤算法[5，1，2]，过滤后的输出为

通过这种扩充，可以将这些过滤算法[1、2、5]作为黑盒应用到本文的问题中。 但是，利用这些方法的结构，可以使它们对本文的任务更加有效。 在下文中，将以四面体晶格滤波器为例进行讨论，并在实验中使用它。

过滤算法
A. Adams, J. Baek, and M. A. Davis. Fast high-dimensional
filtering using the permutohedral lattice. In Computer
Graphics Forum, volume 29, pages 753–762. Wiley Online
Library, 2010. 1, 4
A. Adams, N. Gelfand, J. Dolson, and M. Levoy. Gaussian
kd-trees for fast high-dimensional filtering. In ACM Trans-
actions on Graphics (ToG), volume 28, page 21. ACM, 2009.
1, 4
J. Chen, S. Paris, and F. Durand. Real-time edge-aware im-
age processing with the bilateral grid. In ACM Transactions
on Graphics (TOG), volume 26, page 103. ACM, 2007. 1, 4

3.2 四面体晶格滤波器

简要回顾一下四面体过滤器的过滤过程，图2所示。d维特征f首先嵌入在（d + 1）维空间中，其中四面体晶格存在于其中。 在嵌入式空间中，每个输入值v Splats都以重心权重覆盖到其封闭的单纯形的顶点上。接下来，晶格点使用附近的晶格点模糊其值。 最后，使用相同的重心权重在每个输入位置对空间进行切分，以内插输出值。

尽管四面体过滤器在各种任务上表现出令人鼓舞的性能，但对于本文的问题仍然不是最佳的。 特别是，当方差$∑_{xyz}$∑xyz​太小时，四面体过滤器中的索引构建可能效率不高。 另外，天真地将四面体过滤器应用于E步骤（6）需要在模型点X更新时的每个EM迭代中重建索引。为了解决这些问题，本文提出了一种定制的四面体过滤器，它在保持足够精度的同时更有效地完成任务。

图 2 四面体晶格过滤器的说明。Splat：输入要素被插值到四面体纬度使用重心砝码进行校正。 Blur：晶格点交换它们值与附近的晶格点。 Slice：滤波后的信号进入端接回输入信号。

4.M步：有效的扭曲参数化

在本节介绍通过扭转参数化来解决优化问题的方法(公式7,10）。 首先讨论一般运动学模型中的扭曲，然后将其专门用于关节和节点图可变形对象。

关注以下一般运动学模型

其中$T_i（θ）∈SE（3）$Ti​（θ）∈SE（3）是刚性变换，xi参考为xi的固定参考点。注意，$T_i（θ）$Ti​（θ）取决于i，并且运动学模型不一定是全局刚性变换。

Twist是一个6-向量，代表$SE（3）$SE（3）的局部线性化“变化”。 令扭曲$ζ_i=（w_i，t_i）=（α_i，β_i，γ_i，a_i，b_i，c_i）$ζi​=（wi​，ti​）=（αi​，βi​，γi​，ai​，bi​，ci​）为Ti的局部线性化，

Jacobian矩阵

是一个3x6的矩阵，其中$I_{3\times3}$I3×3​是实矩阵，$skew（x_i）$skew（xi​）是一个3×3矩阵，使得任意$b∈R^3$b∈R3的$skew(xi)b =cross（x_i，b）$skew(xi)b=cross（xi​，b）。

优化（7，10）是最小二乘问题，专注于它们的以下广义形式

其中$r_{x_i}$rxi​​是取决于xi的级联最小二乘残差。使用高斯-牛顿（GN）算法来求解（17）。 在每个GN迭代中，需要计算以下A和b矩阵：

运动参数的更新为$∆θ = −A^{−1}b$∆θ=−A−1b。因此，主要的计算瓶颈是组装矩阵A和B。 在下文中，仅讨论A矩阵的计算，而b向量相似且容易。 A的计算矩阵可以写成

$\frac{∂ζi}{∂\theta}$∂θ∂ζi​是将运动参数θ的变化映射到刚性变换Ti的变化的Jacobian矩阵，而Ti的变化表示为其扭曲。 注意这一项$\frac{∂r_{x_i}}{∂ζ_i}=\frac{∂r_{xi}}{∂xi}\frac{∂r_{xi}}{∂ζi}$∂ζi​∂rxi​​​=∂xi∂rxi​​∂ζi∂rxi​​很容易计算。$\frac{∂r_{x_i}}{∂xi}$∂xi∂rxi​​​和$\frac{∂r_{xi}}{∂ζi}$∂ζi∂rxi​​都仅依赖于xi。

如果运动学模型是整体刚性变换，有$\frac{∂ζi}{∂\theta}=I_{6\times6}$∂θ∂ζi​=I6×6​，并且$A=\sum_{{x_i}}(\frac{r_{x_i}}{∂ζ_i}^T\frac{r_{x_i}}{∂ζ_i})$A=∑xi​​(∂ζi​rxi​​​T∂ζi​rxi​​​)。

在在以下小节中，将继续进行节点图可变形运动学模型

5.1 铰接模型

关节物体由通过运动树中的关节连接的刚体组成。包括人体，手和机器人在内的大量现实世界中的物体都是铰接的物体。如果运动学模型（15）是铰接模型，则运动参数$θ∈R^{N_joint}$θ∈RNj​oint将是关节角度，其中$N_{joint}$Njoint​是关节数。 $T_i（θ）$Ti​（θ）是点xi附加到的刚体的刚体变形。 A矩阵的计算可以分解为

其中$ζ_j$ζj​是刚体j的扭曲，如果点i在刚体j上，利用$\frac{∂ζ_i}{∂ζ_j}$∂ζj​∂ζi​​= $I_{6×6}$I6×6​。重要的是，$\frac{∂ζ_j}{∂θ}$∂θ∂ζj​​被称为空间速度雅可比行列式，由许多现成的刚体模拟器提供。算法（1）中显示了使用（20）的算法。

算法1的1-4行主导着整体性能，复杂度为$O（6^2M）$O（62M），其中M为模型点的数量，通常为$N_{joint}M\ll M$Njoint​M≪M。 因此，该算法的复杂度几乎与N个关节无关。作为比较，以前的铰接式配准方法需要$O（N^2_{joint}M）$O（Njoint2​M）时间来组装A矩阵，并且N关节通常比6大得多。此外，算法1的第1-4行便于 实施，并且可以轻松实现GPU并行化。 结合现成的模拟器，整个流程可以实现很好的效率。 相反，以前的方法通常需要定制的运动学树实现。为了实现实时性能，同时需要大量的软件工程工作来实现。

刚体模拟器
J. Lee, M. X. Grey, S. Ha, T. Kunz, S. Jain, Y. Ye, S. S. Srini-
vasa, M. Stilman, and C. K. Liu. Dart: Dynamic animation
and robotics toolkit. The Journal ofOpen Source Software,
3(22):500, 2018. 5
R. Tedrake and the Drake Development Team. Drake: A
planning, control, and analysis toolbox for nonlinear dynam-
ical systems, 2016. 5, 8
E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine
for model-based control. In Intelligent Robots and Systems
(IROS), 2012 IEEE/RSJ International Conference on, pages
5026–5033. IEEE, 2012. 5

5.2 节点图可变形模型

为了捕获诸如绳索或布料之类的物体的运动，需要一个运动模型，该模型允许较大的变形，同时防止不切实际的折叠或变形。在本文中，遵循将一般的可变形运动学模型表示为节点图。直观地讲，节点图定义了3D空间中的运动场以及公式15中的参考顶点。 （15）根据运动场变形。更具体地说，将节点图定义为集合${[p_j∈R^3，T_j∈SE（3）]}$[pj​∈R3，Tj​∈SE（3）]，其中j是节点索引，pj是第j个节点的位置，Tj是SE（3）在第j个节点上定义的运动。运动方程（15）可以写成

$N_i（x_{i..reference}）$Ni​（xi..reference​）是模型的最近邻居节点xi参考点，而$w_{ki}$wki​是固定的skinning权重。刚性变换Tk的插值是使用SE（3）的DualQuaternion 表示进行的。

可以使用与算法1非常相似的算法来构造此运动模型的A矩阵。

6 结果

进行了各种实验来测试所提出方法的鲁棒性，准确性和效率。除了6.5以外的硬件平台是Intel i7-3960X CPU。其中本文提出的方法是在Nivida Titan Xp GPU上使用CUDA实现的。

6.1 综合数据的鲁棒性测试

按照CPD 建立关于综合数据的实验。使用斯坦福（Stanford）兔子的3500分积分抽样。 初始旋转差异为50度，随机轴。 将所提出的方法与两个基线进行比较：CPD，一种基于GMM的代表性算法； TrICP，一种广泛使用的强大ICP变型。
所有方法的参数都经过了很好的调整。 使用以下度量来测量姿势估计误差

其中$T_{gt}$Tgt​是已知的真实情况下的姿态，在（15）中定义的xi是参考位置。当扭曲（变换的变化）小于阈值时，终止算法。这样，所有方法的最终对准误差（22）约为1 [mm]。所有统计结果均为30次独立运行的平均值。

图3示出了关于点集中的离群值的不同算法的鲁棒性。向模型云和观察云随机添加不同数量的点。这种具有初始对齐方式的点集的示例如图3（a）所示，通过提出的方法收敛的对齐方式和TrICP 分别如图3（b）和图3（c）所示。本文的方法和CPD 明显优于强大的ICP。

图 3 关于离群值的各种算法的鲁棒性比较。上图：（a）显示了一个异常值比为0.2的示例初始化； （b）和（c）分别是所提出方法的最终比对和TrICP 分别从（a）初始化。下图：每种算法对于不同数量的异常值的对齐误差（22）。

图4示出了关于点集中的噪声的不同算法的鲁棒性。用高斯噪声破坏模型云和观测云中的每个点。噪音的单位是兔子的直径。这种具有初始对齐的点集的示例在图4（a）中显示。图4（b）和（c）是通过提出的方法进行的最终比对，并从（a）初始化了TrICP 。请注意，使用干净的点云来实现更好的可视化。本文的方法和CPD 比可靠的ICP更准确。

图4 各种算法相对于噪声的鲁棒性比较。上图：（a）显示了一个示例，其中初始化为0.03的相对噪声； （b）和（c）是通过所提出的方法进行的最终比对，并从（a）中初始化了TrICP 。请注意，我们使用干净的点云来实现更好的可视化。下图：每种算法针对不同噪声水平的对齐误差（22）。

表1总结了每种方法的计算性能。运行时间是在干净的点云上测量的。本文的方法比TrICP快7倍，比CPD 快两个数量级。带有固定σ的方法每次迭代速度更快，但需要更多迭代才能收敛。总体而言，所提出的方法与最新的统计配准算法CPD一样健壮，并且比现代ICP实现要快得多。

表1

6.2 实际数据的刚性配准

设置此实验：该算法用于在Stanford Lounge数据集上计算帧到帧的刚性变换。将第5帧配准为第400帧，每帧下采样至约5000点。

相对于真实情况的平均欧拉角偏差被用作估计误差。图5（a）显示了通过本文的方法进行配准的示例。图5（b）显示了各种算法的准确性和速度。对于CPD ，使用σinit= 20 [cm]来代替基于数据的初始化，由此观察到了性能的提高。作为指向点误差不能捕获平面结构，本文的方法的点对点版本以及许多其他点对点算法在此数据集上的准确性较低。所提出的具有点对面误差的方法可实现最新的精度。从计算的角度来看，所提出的方法明显优于所有基线，包括GMMTree 和EMICP 依赖高端Titan X GPU。

图5 在Stanford Lounge数据集上进行刚性配准。大多数基准的结果均来自[9]。 （a）显示一个例子通过建议的方法进行注册。 （b）显示准确度和各种算法的性能。

其他点对点算法
P. J. Besl and N. D. McKay. Method for registration of 3-d
shapes. In Sensor Fusion IV: Control Paradigms and Data
Structures, volume 1611, pages 586–607. International Soci-
ety for Optics and Photonics, 1992. 1, 7
D. Chetverikov, D. Stepanov, and P. Krsek. Robust euclidean
alignment of 3d point sets: the trimmed iterative closest point
algorithm. Image and Vision Computing, 23(3):299–309,
2005. 3, 6, 7
M. Magnusson. The three-dimensional normal-distributions
transform: an efficient representation for registration, sur-
face analysis, and loop detection. PhD thesis,
versitet, 2009. 2, 3, 7
A. Myronenko and X. Song. Point set registration: Coherent
point drift. IEEE Transactions on Pattern Analysis and Ma-
chine Intelligence, 32(12):2262–2275, Dec 2010. 1, 2, 3, 6,
7

6.3 使用学习的特征进行全局姿势估计

演示了使用运动无关特征的全局姿态估计。任务是将预先建立的几何模型与RGBD图像中的观察云对齐，其中模型和观察云都由学习到的特征着色，并固定为σ= 0.05，因为特征具有单位范数。将该方法与修改后的TrICP 进行了比较：在特征空间（而不是3d空间）中搜索最近的邻居。在基于特征的配准后，应用3d空间局部修正来获得最终的对齐方式。

图6显示了示例配准。将背景视为离群值。如图6（a）所示，观测值（RGBD云）处于严重遮挡之下，并且包含非常模糊的离群值。图6（b）和（c）显示了通过本文的方法和“特征” TrICP进行的基于特征的配准。所提出的方法对于异常值和遮挡更为鲁棒。图6（d）和（e）显示了使用从（b）和（c）初始化的局部修正的最终对齐方式。当基线陷入不良对齐状态时，所提出的方法收敛到纠正姿势。表。表2总结了这两种方法在30个具有不同视点和光照条件的RGBD图像上的成功率。本文的方法比基线具有更高的成功率和效率。

图6 在含糊的异常值和强烈的遮挡下，基于特征的全局配准。 （a）显示了由特征着色的配准的初始化。 （b）和（c）是根据本文的方法和基准进行的基于特征的配准。 （d）和（e）显示使用（b）初始化的3d局部修正进行最终对齐和（c）。 提出的方法收敛到正确的姿势基线方法陷入不良对齐状态。

表 2

6.4明确跟踪

提出的具有铰接运动学模型的方法用于跟踪机器人操纵箱子。机器人和盒子模型具有20个*度（盒子和机器人的浮动底座12个，机器人关节的8个）。在（20）中，使用德雷克进行运动学计算。使用固定的σ= 1 [cm]，并将最大EM迭代次数设置为15。本文的模板有7500个点，深度云大约有10000个点。

图7（a）显示了跟踪的操作场景的快照。图7（b）显示了实时几何模型和观测云。观察点为黑色，而几何模型根据刚体着色。请注意，表中的点被视为离群值。图7（c）总结了每帧的平均每帧
各种算法的性能。所提出的扭曲参数化比直接参数化快一个数量级。结合基于过滤器的对应关系和扭曲参数化，可以实现实时跟踪算法，并且与铰接式ICP相比，性能大大提高。

图 7 所提出的方法被应用于跟踪操纵盒子的机器人。 （a）：跟踪的操作场景的快照。 （b）观察点云（黑色）和实时几何模型（根据刚体着色）。 （c）：此数据集上各种算法的每帧性能。 Ye＆Yang表示本文的CPU实现。

6.5 在动态重建中的应用

带有节点图可变形运动学的方法在GPU上实现，并用作DynamicFusion的内部非刚性跟踪器（本文的实现）。 所提出的方法与投影式ICP进行了比较，后者是原始非刚性跟踪器。 本文使用固定的σ= 2 [cm]。 图8示出了两种方法以相对快速的动作对RGBD序列进行操作。所提出的方法可以正确地跟踪它，而投影ICP不能跟踪演员的右手。 所提出的方法对快速和切线运动比投影ICP更加鲁棒。

为了测试在节点图可变形对象上提出的扭曲参数化的效率，将其与使用直接参数化的高度优化的GPU最小二乘法求解器Opt进行了比较。 表3中总结了各种算法的每帧计算性能。 基于过滤器的E步骤的GPU并行化速度是CPU版本的8倍，建议的扭曲参数化速度比[8]快20倍。

Z. DeVito, M. Mara, M. Zollh¨ofer, G. Bernstein, J. Ragan-
Kelley, C. Theobalt, P. Hanrahan, M. Fisher, and M. Nießner.
Opt: A domain specific language for non-linear least squares
optimization in graphics and imaging. ACMTransactions on
Graphics (TOG), 36(5):171, 2017. 8

图 8 带有节点图可变形运动学的建议方法在GPU上实现，并用作DynamicFusion的内部非刚性跟踪器。 对于相对较快的运动，当DynamicFusion 使用的投影ICP无法跟踪演员的右手时，所提出的方法可以正确地对其进行跟踪。

表 3

7 结论

本文提出了一种概率配准方法，可以实现最先进的鲁棒性，准确性和效率。对应搜索可以表述为一个过滤问题，并利用有效的高斯过滤方法来解决该问题。此外提出了一种简单有效的扭曲参数化方法，将本文的方法推广到可铰接和可变形的物体。 广泛的经验评估证明了该方法的有效性。
原文连接