鱼眼镜头校准

01.简介
当我们使用的鱼眼镜头视角大于160°时，OpenCV中用于校准镜头“经典”方法的效果可能就不是和理想了。即使我们仔细遵循OpenCV文档中的步骤，也可能会得到下面这个奇奇怪怪的照片：

从3.0版开始，OpenCV包含了cv2.fisheye可以很好地处理鱼眼镜头校准的软件包。但是，该模块没有针对读者的相关的教程。

02.相机参数获取
校准镜头其实只需要下面2个步骤。

1. 利用OpenCV计算镜头的2个固有参数。OpenCV称它们为K和D，我们只需要知道它们是numpy数组外即可。
2. 通过K和D对图像进行去畸变矫正。

计算K和D

1. 下载棋盘格图案并将其打印在纸上（字母或A4尺寸）。大家要尽量将这张纸粘在坚硬且平坦的物体表面，例如一块硬纸板上。因为这里的关键是直线必须是直线。
2. 将图案放在相机前面拍摄一些图像，图案要取在不同的位置和角度。这里的关键是图案需要以不同的方式出现失真（以便OpenCV尽可能多地了解镜头相关参数）。
   
3. 我们先将这些图片保存在JPG文件夹中。
4. 现在我们只需要将此Python脚本片段复制到calibrate.py先前保存这些图像的文件夹中的文件中，就可以对其进行命名。

import cv2
assert cv2.__version__[0] == '3', 'The fisheye module requires opencv version >= 3.0.0'
import numpy as np
import os
import glob
CHECKERBOARD = (6,9)
subpix_criteria = (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 0.1)
calibration_flags = cv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC+cv2.fisheye.CALIB_CHECK_COND+cv2.fisheye.CALIB_FIX_SKEW
objp = np.zeros((1, CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)
objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)
_img_shape = None
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
images = glob.glob('*.jpg')
for fname in images:
    img = cv2.imread(fname)
    if _img_shape == None:
        _img_shape = img.shape[:2]
    else:
        assert _img_shape == img.shape[:2], "All images must share the same size."
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, cv2.CALIB_CB_ADAPTIVE_THRESH+cv2.CALIB_CB_FAST_CHECK+cv2.CALIB_CB_NORMALIZE_IMAGE)
    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)
        cv2.cornerSubPix(gray,corners,(3,3),(-1,-1),subpix_criteria)
        imgpoints.append(corners)
N_OK = len(objpoints)
K = np.zeros((3, 3))
D = np.zeros((4, 1))
rvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]
tvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]
rms, _, _, _, _ = \
    cv2.fisheye.calibrate(
        objpoints,
        imgpoints,
        gray.shape[::-1],
        K,
        D,
        rvecs,
        tvecs,
        calibration_flags,
        (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6)
    )
print("Found " + str(N_OK) + " valid images for calibration")
print("DIM=" + str(_img_shape[::-1]))
print("K=np.array(" + str(K.tolist()) + ")")
print("D=np.array(" + str(D.tolist()) + ")")

运行python calibrate.py。如果一切顺利，脚本将输出如下内容：

Found 36 images for calibration
DIM=(1600, 1200)
K=np.array([[781.3524863867165, 0.0, 794.7118000552183], [0.0, 779.5071163774452, 561.3314451453386], [0.0, 0.0, 1.0]])
D=np.array([[-0.042595202508066574], [0.031307765215775184], [-0.04104704724832258], [0.015343014605793324]])

03.图像畸变矫正
获得K和D后，我们可以对以下情况获得的图像进行失真矫正：我们需要取消失真的图像与校准期间捕获的图像具有相同的尺寸。也可以将边缘周围的某些区域裁剪掉，来保证使未失真图像的整洁。通过undistort.py使用以下python代码创建文件：

# You should replace these 3 lines with the output in calibration step
DIM=XXX
K=np.array(YYY)
D=np.array(ZZZ)
def undistort(img_path):
    img = cv2.imread(img_path)
    h,w = img.shape[:2]
    map1, map2 = cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2)
    undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    cv2.imshow("undistorted", undistorted_img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
if __name__ == '__main__':
    for p in sys.argv[1:]:
        undistort(p)

现在运行python undistort.py file_to_undistort.jpg。


如果大家仔细观察，可能会注意到一个问题：原始图像中的大部分会在此过程中被裁剪掉。例如，图像左侧的橙色RC汽车只有一半的车轮保持在未变形的图像中。实际上，原始图像中约有30％的像素丢失了。

我们需要首先了解什么是“平衡”（在经典cv2模块中也称为“ alpha” ），以及它如何影响未失真图像的尺寸和形状。先来看一个比较极端的图像矫正的例子。

注意：如您所知，OpenCVfisheye模块通过将角拉伸得过大而过度补偿了角。但这对于大多数图像来说效果都是挺好的。

这里涉及3个不同的维度：

1. dim1。原始图像的尺寸。
2. dim2。这是在使图像不失真之后要保留的尺寸。dim2很难理解，因为它受的影响balance，它基本上告诉OpenCV要保留多少图像。当时balance= 0，OpenCV将保留图像的最佳部分。而balance = 1，OpenCV保留原始图像的每个像素，这意味着很多黑色填充区域和过度拉伸的角。dim2其长宽比必须与相同dim1。
3. dim3。OpenCV将放置未失真图像的最终包装盒的尺寸。它可以是任何大小和任何纵横比。但是大多数情况下，除非想对未失真的图像进行裁剪，否则我们希望使其与原图像相同。

希望下面的程序比正式的OpenCV文档更容易理解。将dim2，dim3和balance（dim1可以从输入图像派生）传递到undistort下面的方法。

# You should replace these 3 lines with the output in calibration step
DIM=XXX
K=np.array(YYY)
D=np.array(ZZZ)
def undistort(img_path, balance=0.0, dim2=None, dim3=None):
    img = cv2.imread(img_path)
    dim1 = img.shape[:2][::-1]  #dim1 is the dimension of input image to un-distort
    assert dim1[0]/dim1[1] == DIM[0]/DIM[1], "Image to undistort needs to have same aspect ratio as the ones used in calibration"
    if not dim2:
        dim2 = dim1
    if not dim3:
        dim3 = dim1
    scaled_K = K * dim1[0] / DIM[0]  # The values of K is to scale with image dimension.
    scaled_K[2][2] = 1.0  # Except that K[2][2] is always 1.0
    # This is how scaled_K, dim2 and balance are used to determine the final K used to un-distort image. OpenCV document failed to make this clear!
    new_K = cv2.fisheye.estimateNewCameraMatrixForUndistortRectify(scaled_K, D, dim2, np.eye(3), balance=balance)
    map1, map2 = cv2.fisheye.initUndistortRectifyMap(scaled_K, D, np.eye(3), new_K, dim3, cv2.CV_16SC2)
    undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    cv2.imshow("undistorted", undistorted_img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
if __name__ == '__main__':
    for p in sys.argv[1:]:
        undistort(p)

当然，大家应该尝试不同的值，以了解它们如何改变最终图像，达到一个平衡状态！