【论文阅读】19-Multi-View Stereo Reconstruction and Scene Flow Estimation with a Global Image-Based Matchi

【论文阅读】19-Multi-View Stereo Reconstruction and Scene Flow Estimation with a Global Image-Based Matching Score

• 0、 basic Information
• 1、method overview
• 2、similarity measure
• 3、regularization
• 4、details
• 5、implementation
• 6、result

0、 basic Information

Pons J P , Keriven R , Faugeras O . Multi-View Stereo Reconstruction and Scene Flow Estimation with a Global Image-Based Matching Score[J]. International Journal of Computer Vision, 2007, 72(2):179-193.

1、method overview

1. 核心：
   基于全局（all image pairs i,j） 计算image_i 与image_i’（predicted by image j）之间的相似性 M，并基于相似性与regularization 构造能量函数，并采用梯度下降的方法( 简化： E只考虑一阶导)，迭代求解，得到使E最小化的surface
2. surface 的最终迭代公式(推导见下)：
   

2、similarity measure

2.1、NCC

1. 基本原理：见参考链接????
2. 本文 ：Gaussian windows 【 size (fix)– non-distortion】

• 数学表达：
  
  
  
  

---

• 梯度、微分表示：
  

注意: alpha bata gamma 关于x 的迭代过程中，变化较小，10 次迭代才更新

2.2、MI( mutual information)

1. 实质： statistical dependencies –联合概率分布、边缘概率分布

• 数学表达：
  
  
  

---

• 梯度、微分表示：
  

注意：ikseluo 10次迭代才更新

3、regularization

1. 目的： preserve shape motion discontinued
2. User-difined
3. Basic-smoothing：the area of the surface----mean curvature(曲率) motion

数学表达 ： nameda * H（surface mean curvation）

4、details

1. 图像预处理：smoothing && subsample
2. Pix -只考虑visible( distortion && occlusion removed)

5、implementation

1. Level set – 数值稳定，处理拓扑变化
2. OpenGL depth buffer – visibility
3. Texture mapping – reprojection — 未细究
4. Shadow-mapping – semi-occluded — 涉及occlusion 检测，未细究
5. 参数设置

6、result

1. Camera pair ( neighboring)
2. Quantity指标

Difference ( result && true )  / true  单位：volume （体积）