机器视觉学习笔记(8)——基于OpenCV的Bouguet立体校正
2016-01-07 15:25
603 查看
机器视觉学习笔记(8)——基于OpenCV的Bouguet立体校正
标签: 机器视觉1.什么是立体校正
在机器视觉学习笔记(7)——基于OpenCV的双目摄像机标定中,我们已经计算出描述两个{camera}坐标系关系的矩阵R和T,立体校正主要就是这两个参数在发挥作用。双目摄像机系统主要的任务就是测距,而视差求距离公式是在双目系统处于理想情况下推导的,所以就要将实际的双目系统校正为理想的双目系统。理想双目系统:两摄像机图像平面平行,光轴和图像平面垂直,极点处于无线远处,此时点(x0,y0)对应的级线就是y=y0
2.Bouguet校正原理
校正过程如下图所示:校正过程中两个图像平面均旋转一半的R,这样可以使重投影畸变最小,此时两个摄像机图像平面共面(畸变校正后光轴也平行),但是行不对准
极点是两个{camera}坐标系原点的连线和图像平面的交点,要想使得极点处于无穷远处(即行对准),就必须两个摄像机的图像平面和两个{camera}坐标系原点的连线平行
可以计算Rrect矩阵使得极点处于无穷远处:
设
Rrect=⎡⎣⎢⎢eT1eT2eT3⎤⎦⎥⎥(1)
由于图像平面最终和{camera}坐标系连线平行,所以
e1=T||T||(2)
其中T=[Tx,Ty,Tz]T,e2和e1正交即可,选择主光轴方向(0,0,1)与e1叉积
e2=[−TyTx0]TT2x+T2y−−−−−−−√(3)
e3只要与e1和e2正交即可,使用叉积
e3=e1×e2(4)
将Rrect左乘到R分解后作用于左右{camera}坐标系的矩阵即可得到最终的立体校正矩阵。
3.重投影矩阵Q
重投影矩阵Q实现了世界坐标系{world}和像素坐标系{pixel}之间的转换。具体如下:Q=⎡⎣⎢⎢⎢⎢10010100000−1/Tx−cx−cyf(cx−c′x)/Tx⎤⎦⎥⎥⎥⎥(5)
则
Q⎡⎣⎢⎢⎢xyd1⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢XYZW⎤⎦⎥⎥⎥(6)
其中d表示视差,三维坐标为(X/W,Y/W,Z/W),cx′表示右图像的主点,当校正正确时,cx=cx′,在立体校正正确的前提下展开(6)式,可得
(X/W,Y/W,Z/W)=(−x−cxdTx,−y−cydTx,−fdTx)(7)
之所以有负号是因为Tx是负的,之所以要减去cx或cy是因为{pixel}坐标系的原点在左上角,而{camera}坐标系的原点在光轴上。
其实三维坐标根据图形相似的原理可以直接写出来,如果能做到此步骤,证明是真的理解了双目测距的原理。
4.源码解析
一共有3个过程,分别是计算旋转矩阵和投影矩阵,计算校正查找映射表,校正两幅图像检验效果。4.1计算旋转矩阵和投影矩阵
使用OpenCV中stereoRectify函数即可
void stereoRectify( InputArray cameraMatrix1, InputArray distCoeffs1, InputArray cameraMatrix2, InputArray distCoeffs2, Size imageSize, InputArray R, InputArray T, OutputArray R1,//左摄像机旋转矩阵 OutputArray R2,//右摄像机旋转矩阵 OutputArray P1,//左摄像机投影矩阵 OutputArray P2,//右摄像机投影矩阵 OutputArray Q,//重投影矩阵 int flags=CALIB_ZERO_DISPARITY,//主点坐标相同 double alpha,//裁减系数 Size newImageSize=Size(), Rect* roi1=0, Rect* roi2=0 ) //应用 //Mat R1, R2, P1, P2, Q; //Rect roi1, roi2; //stereoRectify(M1, D1, M2, D2, imageSize, R, T, R1, R2, P1, P2, Q, // CALIB_ZERO_DISPARITY, 0, imageSize, &roi1, &roi2);
4.2计算校正查找映射表
校正查找映射表可以将原始图像和校正后的图像上的点一一对应起来使用OpenCV中
initUndistortRectifyMap函数即可,需要注意的是要针对左右相机分别计算校正查找映射表。
void initUndistortRectifyMap( InputArray cameraMatrix, InputArray distCoeffs, InputArray R, InputArray newCameraMatrix, Size size, int m1type, OutputArray map1, OutputArray map2 ) //应用 //Mat rmap[2][2]; //initUndistortRectifyMap(M1, D1, R1, P1, imageSize, CV_16SC2, rmap[0][0], rmap[0][1]); //initUndistortRectifyMap(M2, D2, R2, P2, imageSize, CV_16SC2, rmap[1][0], rmap[1][1]);
4.3检验效果
载入两张图片,校正后合并到一张大图上,每隔32个像素画一条横线,可以明显的看到实现了行对准。Mat img1 = imread("left01.jpg"), img1r; Mat img2 = imread("right01.jpg"), img2r; Mat img(imageSize.height, imageSize.width * 2, CV_8UC3);//高度一样,宽度双倍 imshow("rectified", img); remap(img1, img1r, rmap[0][0], rmap[0][1], CV_INTER_AREA);//左校正 remap(img2, img2r, rmap[1][0], rmap[1][1], CV_INTER_AREA);//右校正 Mat imgPart1 = img( Rect(0, 0, imageSize.width, imageSize.height) );//浅拷贝 Mat imgPart2 = img( Rect(imageSize.width, 0, imageSize.width, imageSize.height) );//浅拷贝 resize(img1r, imgPart1, imgPart1.size(), 0, 0, CV_INTER_AREA); resize(img2r, imgPart2, imgPart2.size(), 0, 0, CV_INTER_AREA); //画横线 for( int i = 0; i < img.rows; i += 32 ) line(img, Point(0, i), Point(img.cols, i), Scalar(0, 255, 0), 1, 8); //显示行对准的图形 Mat smallImg;//由于我的分辨率1:1显示太大,所以缩小显示 resize(img, smallImg, Size(), 0.5, 0.5, CV_INTER_AREA); imshow("rectified", smallImg);
效果如下:
5.总结
源码放在GitHub托管,会随着项目的进度更新可以将标定的结果保存在本地的文本文件中,这样只需要标定一次,以后直接载入标定的参数即可
截止本篇博文为止,双目系统系统的标定就结束了。其实标定这一块可以做很多文章,张正友标定法应用有近20年了,相信其他的标定方法也有不少。由于博主的主要任务还是识别与匹配,所以就不打算在这里多做停留了
标定部分主要就是线性代数、矩阵分析和机器人学的知识,要是不理解标定的推导过程,可以学习一下这几个方面的知识,以后也会用到
实现起来还是蛮简单的,但是最好能推导一下公式,如果一直调用API但是不理解原理,很快就会遇到天花板
相关文章推荐
- 利用矢量计算快速判定一点在直线的哪一侧
- 大幅面多相机高精度定位及测量解决方案
- 读书计划与交流的期望
- 在机器视觉领域中为何选择基于瑞芯微Rockchip PX2主控芯片?
- Halcon学习之四:有关图像生成的函数
- Halcon学习之二:摄像头获取图像和相关参数
- Halcon学习之五:有关图像的定义域的函数
- Halcon学习之七:改变图像的现实方式和大小
- 分享一些OpenCV实现立体视觉的经验
- 在OpenCV中用cvCalibrateCamera2进行相机标定
- 机器视觉方向的大牛介绍
- 机器人demo
- 机器视觉系统硬件部分
- 卷积和相关
- 普及机器视觉,每日一贴
- 机器视觉的一些链接
- 本人常用资源整理(ing...)
- 图像处理与计算机视觉:基础,经典以及最近发展
- 工业相机和数码相机的六大区别
- 如何选择工业相机?听听专家怎么说