相机标定总结

相机标定总结

from： http://blog.sina.com.cn/s/blog_a2885cb50102vm1g.html

本文是一篇关于相机标定意义和原理的个人总结，包含了OpenCV和Matlab中常用的相机标定函数的注解。

相机标定是机器视觉的基础，标定结果的好坏直接决定了机器视觉的系统精度，作用可见一斑。在这一年半的时间里，我个人也是随着实验和程序的进一步理解，对标定的原理和意义有了更多的想法。同样，由于博文的关系，仍有一些朋友会常常询问标定的程序问题。本人的2010-05-17OpenCV标定程序

的问题也多次被朋友询问，由于当时对标定的认识还不够系统，因此现在认为该文对标定的意义和原理有很多误解，并在此推荐一些较好的博文拱大家学习：

双目测距与三维重建的OpenCV实现问题集锦（一）图像获取与单目标定；

双目测距与三维重建的OpenCV实现问题集锦（二）双目标定与双目校正；

双摄像头测距的OpenCV实现；

分享一些OpenCV实现立体视觉的经验；

下面结合本人的毕业论文及一年半来对机器视觉的学习，对相机标定的意义和原理进行叙述。

1.单目相机模型

单目相机模型中的三种坐标系关系如图1所示，相机坐标系即是以光轴中心O为原点的坐标系，其z轴满足右手法则，成像原点所代表平面即为像平面坐标系（实际应用中，均以图像左上角为坐标系原点），实际物体坐标系即为世界坐标系。

图1 单目相机模型的三坐标系统关系

其中，在世界坐标系的值为，是在像平面坐标系的投影点，其相机坐标系的值为。是相机坐标系轴与像平面夹角，一般情况下轴与像平面垂直，值为。且相机坐标系与像平面平行，为相机的焦距。

对于从相机坐标系到像平面坐标系的变换，像平面坐标系是用像素单位来表示的，而相机坐标系则是以毫米为单位来表示，因此，要完成改变换过程就需要先得到像平面的像素单位与毫米单位之间的线性关系。在图1中，相机光轴中心z轴方向上与像平面的交点称为投影中心，坐标为，是像素单位，而每个像素在和的物理尺寸为和，单位是像素/毫米，则像平面的像素与毫米间的线性关系如式（1）：

（1）

根据小孔模型下投影变换原理，像平面的物理坐标对应的相机坐标系满足式（2）：

                              （2）

其对应的矩阵形式为式（3）：

                 （3）

联立式（1）和式（3），得到式（4）即为相机坐标系与像平面坐标系变换的矩阵。

                   （4）

左图

    其中，左图即为相机的6个内参数，其组成的矩阵即为内参数矩阵。

    对于从相机坐标系到世界坐标系的变换，是通过旋转矩阵R和平移矩阵T完成的，如图2所示。

图2 相机坐标系与世界坐标系的变换关系

其中，平移矩阵T是三维列向量，旋转矩阵R是坐标轴依次绕和轴旋转角度和所形成的三个矩阵的总乘积。它们的定义如式（5）：

                         （5）

则矩阵R的计算公式如式（6）：

 （6）

因此，从相机坐标系到世界坐标系的变换如式（7），其中，表示，为旋转矩阵，为平移矩阵，该变换矩阵称为外参数矩阵。

                       （7）

最后，联立式（4）和式（7）求得像平面坐标系与世界坐标系之间的变换关系，如式（8）：

            （8）

其中，即为透视投影矩阵，表示空间中三维点坐标与图像平面二维坐标之间的线性关系，表示的像平面齐次坐标值，表示的世界坐标系齐次坐标值。基于以上几何原理和相机模型得到的图像信息和三维信息之间的关系，存在不可逆性，即可以通过已知世界坐标系的坐标值求得二维坐标值，如果要进行二维坐标到三维坐标的反求还需要其他的数学模型辅助求解。

2.Matlab标定工具箱应用

1)  制作标定板，标定板尺寸为324(mm)X252(mm)，即7行9列63个36mm的正方形方格组成，如图3所示。

图3  标定方格板

2)  将水平平行的左右相机同时采集标定板的不同位姿图像，共计12组位姿（对于采集的图像，位姿越多，标定结果也会越精确，建议在10组到20组之间）如图4,5所示。

图4  左相机的标定图像

图5  右相机的标定图像

3)  在工具箱中通过Extract grid corners提取每幅标定图像的特征点（即黑方格与白方格的交点）。

4)  进行单目标定，得到左右相机的内外参数以及畸变系数，并将参数保存到Calib_Results_left和Calib_Results_right两个mat格式的文件中。

3.Matlab标定结果与OpenCV标定结果的比较与分析

Matlab标定结果：

通过上节的步骤（1）-（4），可以得到如图6和7所示的左右相机的内参数、畸变系数结果。

图6  左相机的内参数和畸变系数

图7  右相机的内参数和畸变系数

         对于左右相机由于透镜畸变造成的误差使用工具箱中的visualize_distortions功能进行分析，可以得到左相机的畸变图，如8、9、10所示，相应的右相机畸变图，如11、12、13所示。

图8  左相机镜头畸变图

图9  左相机径向畸变图

图10  左相机切向畸变图

         对于图8到10，图中的0点即为左相机光学中心，图中的箭头显示相机图像的畸变方向。图8左相机整体畸变模型中，该相机的左侧畸变不明显，若物体的图像在此则不易受畸变因素影响造成线条的弯曲；图9左相机径向畸变模型中，该相机的畸变系数由中心向外增大，即物体的图像越靠近图像边缘，其线条的弯曲程度就越大；图10左相机切向畸变模型中，箭头方向显示该相机切向畸变的增大方向，在相机的左侧其切向畸变与径向畸变的方向相反，使得整体畸变模型中，相机左侧的畸变较小。

图11  右相机镜头畸变图

图12  右相机径向畸变图

图13  右相机切向畸变图

对于图11到13，图中的0点与左相机相同，即为右相机光学中心，图中的箭头显示相机图像的畸变方向。图11右相机整体畸变模型中，该相机的中间及偏左侧畸变不明显，若物体的图像在此则不易受畸变因素影响造成线条的弯曲；图12右相机径向畸变模型中，该相机的畸变系数由中心向外增大，但右相机比左相机在光轴中心附近有更大的区域畸变很小，因此位于右侧相机光学中心的图像，其线条因受畸变造成的弯曲很小；图13右相机切向畸变模型中，箭头方向显示该相机切向畸变的增大方向，在相机的左侧其切向畸变与径向畸变的方向相反，使得整体畸变模型中，位于右相机图像左侧的线条受畸变影响较小。

OpenCV标定结果：

在此列举的OpenCV标定结果是我双目视觉标定且优化后的结果，与Matlab的会有差异。

左侧相机的内参数矩阵：

                                 （9）

右侧相机的内参数矩阵：

                                （10）

该式（9）-（10）与式（1）相对应。而Matlab中的cc对应于式（1）中的相机光轴中心在图像平面的投影坐标，fc即为式（1）中的和。

至此，讲解完了OpenCV与Matlab所对应的相机标定内参数矩阵的含义。

OpenCV与Matlab标定中的差异：

OpenCV的标定参数中，对于镜头畸变采用的方法是Brown博士在71年发表的文章中提到的；而Matlab中的镜头畸变参数采用基于Heikkil博士提出的方法，将非线性干扰因素引入到内外参数的求解过程。

Heikkil采用的矩阵来表示以上的两种畸变系数。根据Brown的非线性模型，和表示镜头的径向畸变系数，通常只使用两项，只是针对即便较大的镜头（例如鱼眼镜头，其余情况下该系数值为0），而和表示切向畸变系数，由式（11）和式（12）求解该矩阵，本文的畸变系数求解伴随在相机标定过程中。

                        （11）

其中，

是像平面上的任一点坐标值，是进行径向畸变矫正后的坐标值，是

作为光学中心畸变为0的点进行泰勒级数展开后得到的。

                     （12）

其中，是像平面上的任一点坐标值，是进行切向畸变矫正后的坐标值，如式（11）的定义相同。

4.外参数的作用及其在相机标定中的意义

外参数定义了如图2所示的图像平面到世界坐标系的变换关系。而标定就是通过相机寻找图像平面中如图3所示的标定板的特征点位置，所以得到的外参数是图像平面与标定板所处平面的线性变换关系。在我的2010-06-14基于Matlab的双目视觉定位问题研究

中，通过Matlab标定工具箱产生的图4与图5就可以表达上述含义。

因此，对于不同的棋盘格标定板空间位置，必然对应于不同的外参数矩阵。同样的，在视觉伺服中，雅可比矩阵也有同样的数学意义。对于视觉伺服，个人认为可以看些徐德的论文入门。

5.OpenCV标定程序说明

用于寻找图像中的棋盘格标定板的特征点：

       CvSize board_sz= cvSize( board_w,board_h );

 

       IplImage* imgLeft=cvCreateImage(cvSize(imgL->width,imgL->height),imgL->depth,imgL->nChannels);

       IplImage* imgRight=cvCreateImage(cvSize(imgR->width,imgR->height),imgR->depth,imgR->nChannels);

 

       CvPoint2D32f* cornersLeft= new CvPoint2D32f[board_n ];

       CvPoint2D32f* cornersRight= new CvPoint2D32f[board_n ];

 

       int corner_countLeft,corner_countRight;

 

       cvResize(imgL,imgLeft,CV_INTER_LINEAR);

       cvResize(imgR,imgRight,CV_INTER_LINEAR);

 

       if(frame++ % board_dt == 0) {

              //Find chessboard corners:

              int foundLeft = cvFindChessboardCorners(

                     imgLeft, board_sz,cornersLeft, &corner_countLeft,

                     CV_CALIB_CB_ADAPTIVE_THRESH | CV_CALIB_CB_FILTER_QUADS

                     );

              int foundRight = cvFindChessboardCorners(

                     imgRight, board_sz,cornersRight, &corner_countRight,

                     CV_CALIB_CB_ADAPTIVE_THRESH | CV_CALIB_CB_FILTER_QUADS

                     );

 

              //Get Subpixel accuracy on those corners

              cvCvtColor(imgLeft,grayLeft, CV_BGR2GRAY);//if input is colorful then use this

              cvCvtColor(imgRight,grayRight, CV_BGR2GRAY);

              //cvCopy(image1, gray_image1);

              //cvCopy(image2, gray_image2);

 

              cvFindCornerSubPix(grayLeft,cornersLeft, corner_countLeft,

                     cvSize(11,11),cvSize(-1,-1),cvTermCriteria(CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 30, 0.1 ));//寻找棋盘格标定板的特征点

              cvFindCornerSubPix(grayRight,cornersRight, corner_countRight,

                     cvSize(11,11),cvSize(-1,-1),cvTermCriteria(CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 30, 0.1 )); //寻找棋盘格标定板的特征点

 

              //画出找到的特征点

              cvDrawChessboardCorners(imgLeft,board_sz, cornersLeft,corner_countLeft, foundLeft);

              cvDrawChessboardCorners(imgRight,board_sz, cornersRight,corner_countRight,foundRight);

 

              if (corner_countLeft>=board_n && foundLeft&& corner_countRight>=board_n &&foundRight)

              {//保存特征点在图像坐标中的坐标值，用于Calibrate2和StereoCalibration的调用

                     step = success*board_n;

                     for( int i=step, j=0; j<<span>board_n; ++i,++j ) {

                            CV_MAT_ELEM(*image_pointsLeft,float,i,0) =cornersLeft[j].x;

                            CV_MAT_ELEM(*image_pointsLeft,float,i,1) =cornersLeft[j].y;

                            CV_MAT_ELEM(*image_pointsRight,float,i,0) =cornersRight[j].x;

                            CV_MAT_ELEM(*image_pointsRight,float,i,1) =cornersRight[j].y;

                            CV_MAT_ELEM(*object_points,float,i,0) = (float)(j/board_w);

                            CV_MAT_ELEM(*object_points,float,i,1) = (float)(j%board_w);

                            CV_MAT_ELEM(*object_points,float,i,2) = 0.0f;

                     }

                     CV_MAT_ELEM(*point_counts,int,success,0)= board_n;

              }

       }

随后调用cvCalibateCamera2和cvStereoCalibate函数进行相机的标定。标定的例程可以参考LearningOpenCV。

 

以下推荐两本OpenCV的参考书：

学习OpenCV（中文版） 于仕琪译 清华大学出版社,2009；(OpenCV 2.0库)

基于OpenCV的计算机视觉技术实现 陈胜勇，刘盛编著 科学出版社,2008；(OpenCV 1.0库)

www.opencv.org.cn

中文论坛