（CV）三维视觉

本文地址：/article/10918265.html

了解三维视觉前，需对（CV，Math）仿射几何、 （CV，Math）射影几何有一定了解。因为相机的成像过程射影变换（透视或中心射影）的过程，为一个从3维空间到2维空间的退化的射影变换

1 线性摄像机成像模型

如图，这部分涉及到四个坐标系，世界坐标系，相机坐标系，图像坐标系，数字化图像坐标系。最核心的为相机坐标系到图像坐标系，如只需要了解大概，这部分反映了核心问题。注，此处忽略了相机坐标系到图像坐标系之间成像畸变带来的影响。

1.1 世界坐标系到相机坐标系

如上图，为世界坐标系、相机坐标系、图像坐标系（下小节介绍）示意图。其中OO点为摄像机光心（投影中心），XcXc轴和YcYc轴与成像平面坐标系的xx轴和yy轴平行，ZcZc轴为摄像机的光轴，和图像平面垂直。光轴与图像平面的交点为图像的主点O1O1。OO1为摄像机的焦距。某点世界坐标为(Xw,Yw,Zw)(X_w,Y_w,Z_w)，相机坐标为(Xc,Yc,Zc)(X_c,Y_c,Z_c)。

世界坐标系可以通过平移和旋转（刚体变换）与相机坐标系重合。有1.6节可知，有如下等式：

⎛⎝⎜⎜⎜XcYcZc1⎞⎠⎟⎟⎟=(R0T3t1)⎛⎝⎜⎜⎜XwYwZw1⎞⎠⎟⎟⎟
\left(
\begin{array}{c}
X_c \\
Y_c \\
Z_c \\
1
\end{array}
\right)=
\left(
\begin{array}{cc}
R & t \\
0{^T_3} & 1
\end{array}
\right)
\left(
\begin{array}{c}
X_w \\
Y_w \\
Z_w \\
1
\end{array}
\right)

1.2 相机坐标系到图像坐标系

如2.1中的图所示，以O1O1为原点，xx,yy为坐标轴的坐标系为图像坐标系。详细图解如下，设点在相机坐标系的坐标为(Xc,Yc,Zc)(X_c,Y_c,Z_c)，在图像坐标系坐标为(x,y)(x,y)：



有几何关系可知：

⎧⎩⎨⎪⎪⎪⎪⎪⎪x=fXcZcy=fYcZc
\begin{equation}
\left\{
\begin{aligned}
x=f\frac{X_c}{Z_c} \\
y=f\frac{Y_c}{Z_c}
\end{aligned}
\right.
\end{equation}

齐次坐标系矩阵表达如下：

Zc⎛⎝⎜xy1⎞⎠⎟=⎛⎝⎜f000f0001000⎞⎠⎟⎛⎝⎜⎜⎜XcYcZc1⎞⎠⎟⎟⎟
Z_c\left(
\begin{array}{c}
x \\
y \\
1
\end{array}
\right)=
\left(
\begin{array}{cccc}
f & 0 & 0 & 0 \\
0 & f & 0 & 0 \\
0 & 0 & 1 & 0 \\
\end{array}
\right)
\left(
\begin{array}{c}
X_c \\
Y_c \\
Z_c \\
1
\end{array}
\right)

1.3 图像坐标系都数字化图像坐标系

计算机中存储的数字图像，其坐标系与前几节介绍的图像坐标系略有不同。



如图，为OpenCV中图像存储的坐标系，假设图像坐标系坐标为(x,y)(x,y)，数字化图像坐标系的坐标为(u,v)(u,v)。原图像坐标系原点O1O_1在数字化图像坐标系中的坐标为(u0,v0)(u_0,v_0)。

由于(u,v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸（如单位为毫米/像素），则有如下关系。

⎧⎩⎨⎪⎪⎪⎪u=xdx+u0v=ydy+v0
\begin{equation}
\left\{
\begin{aligned}
u=\frac{x}{dx}+u_0 \\
v=\frac{y}{dy}+v_0
\end{aligned}
\right.
\end{equation}

其次坐标矩阵表示如下

⎛⎝⎜uv1⎞⎠⎟=⎛⎝⎜⎜⎜⎜⎜1dx0001dy0u0v01⎞⎠⎟⎟⎟⎟⎟⎛⎝⎜xy1⎞⎠⎟
\left(
\begin{array}{c}
u \\
v \\
1
\end{array}
\right)=
\left(
\begin{array}{ccc}
\frac{1}{dx} & 0 & u_0 \\
0 & \frac{1}{dy} & v_0 \\
0 & 0 & 1
\end{array}
\right)
\left(
\begin{array}{c}
x \\
y \\
1
\end{array}
\right)

注：事实上，大部分数字图像都是以OpenCV这样的格式存储的，但是也有不一样的，如原点在中心，或者坐标系不是垂直等，不同的坐标系形式，转换矩阵也不一样。

1.4 小节

最终我们得到的公式为：



参考资源：

1. http://www.th7.cn/Program/Android/201501/353476.shtml

2. http://www.360doc.com/content/14/0410/14/10724725_367760675.shtml