摄像头标定与三维重建（一）

最近想要用opencv实现单目测距，涉及到了摄像头的标定以及三维重建的相关知识，这里对学习成果进行了整理（欢迎大家指正）。

1、相关名词解释

（1）摄像头标定：

在计算机视觉中，我们总希望摄像头拍摄到的画面能够尽可能真实的反映出三维空间中物体的实际状态，这个时候我们往往需要做的就是三维重建，所谓三维重建，事实上就是利用摄像机拍到的二维画面去还原现实的三维场景（说起来很容易，实际上实现起来是有很多困难的）。

怎么用二维的画面去还原三维的场景呢？我们可以假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]=M[物]

这里，矩阵M可以看成是摄像机成像的几何模型。 M中的参数就是摄像机参数（包括内部参数和外部参数）。而这些个参数，我们可以通过实验和计算得到，这个通过实验求解参数的过程就叫做摄像头标定（后面会通过实例演示一下）。

（2）内部参数：指摄像头内部几何和光学特性，每个摄像头都对应唯一的内部参数。

主要包括：

a.主点（u0，v0）：图像平面原点的计算机图像像素坐标；

b.有效焦距f：图像平面到投影中心（光心）距离；

c.透镜畸变系数k：畸变包括径向畸变和切向畸变，由于一般切向畸变较小，对映射关系影响不大，不予考虑；

d.轴方向的尺度因子dx，dy：表示单位像素的实际尺寸。

（3）外部参数：摄像头在外部世界坐标系（空间三维坐标）中的位置和方向或者说摄像机相对世界坐标系原点的平移和旋转位置

主要包括：

从世界坐标系到摄像机坐标系的平移向量和旋转变换矩阵：R，T.

2、主要的摄像头标定的方法（一带而过，如果细分的话就太多了，从求解参数、解题方法、标定块等都可以划分）

分三类：

（1）传统摄像机标定方法：

优点：可以使用任意的摄像机模型，标定精度高

缺点：标定过程复杂，需要高精度的已知结构信息。在实际应用中很多情况下无法使用标定块。

（2）主动视觉摄像机标定方法（已知摄像机的某些运动信息）：

优点：通常可以线性求解，鲁棒性比较高。

缺点：不能用于摄像机运动未知和无法控制的场合。

（3）摄像机自标定方法（仅依靠多幅图像之间的对应关系进行标定）：

优点：仅需要建立图像之间的对应，灵活性强，潜在应用范围广。

缺点：非线性标定，鲁棒性不高。

3、预备知识

上图是由右手准则定义的坐标系，该图表示了三个不同层次的坐标系统，其中XwYwZw为世界坐标系，xoy为

摄像机坐标系，图像坐标系（包括图像物理坐标系XOY，图像像素坐标系XfOfYf）。

（1）、世界坐标与摄像机坐标之间的转换关系

（实在不好意思，上面的公式是在windows下用wps编辑的，转到linux下符号都搞丢掉了）

上式中T是世界坐标系原点在摄像机坐标系中的坐标，矩阵R是正交旋转矩阵（注意：这里的T和R就是我们在摄像机标定过程中需要测的外部参数）。

上式中的R满足约束条件：r11^2+r12^2+r13^2=1;r21^2+r22^2+r23^2=1;r31^2+r32^2+r33^2=1;

（2）、图像坐标系与摄像机坐标系变换关系

X=fx/z;Y=fy/z;     这里的fx和fy是X和Y方向的等效焦距。

齐次坐标表示如下：

结合式子（u0和v0是图像中心坐标，dx和dy分别为一个像素在X与Y方向上的物理尺寸）：

得到：

进一步可得到物点P与像素坐标系中像点P的变换关系：

（这个具体的计算过程我也还没有完全搞懂）

我们需要知道的是，这其中fx，fy，u0,v0四个参数是我们在摄像头标定时要得到的内部参数。

（3）、世界坐标系与图像坐标系变换关系

齐次坐标表示：

经过上述一系列分析，我们可以得到的是：通过对已知模型的测量结合以上三个变换关系，我们可以得到摄像机的内外部参数。

4、摄像机镜头的畸变（这里我学得不是很好，也不好意思拿来说了，如果哪位在这一块很了解的话，还请不吝赐教！）

下一篇博文，我将采用张正友的摄像头标定方法实现一次摄像头标定。

--------------------------------------------------------------------------------------------------------------------------

                          By：LunqingHou     //个人学习笔记，转载请注明出处。

--------------------------------------------------------------------------------------------------------------------------