两个平行视图中间的基础矩阵是什么

作者：唐小庆

链接：https://www.zhihu.com/question/41905195/answer/93093474

来源：知乎

著作权归作者所有，转载请联系作者获得授权。

1.概念（答题主）

为了方便理解，一起解释下单应性矩阵H，相机矩阵M，本征矩阵E，基础矩阵F。
摄像机矩阵：将空间三维点投影到像平面上的二维点（注意顺序关系）的矩阵。
单应性矩阵：表示计算机视觉中是一个平面上的点到另一个平面上的点的投影映射矩阵。多视场中会用到。
本征矩阵:（以双目视觉为例）将真实世界中的点P在左摄像机观测到的（左摄像机坐标系的）三维坐标Pl与右摄像机观测到的点P的（右摄像机坐标系中的）三维坐标Pl关联起来的矩阵。
基础矩阵：（以双目视觉为例）将左摄像机图像坐标系中的坐标和右摄像机图像坐标系中的坐标点关联起来的矩阵。

（概念就是这样，感觉已回答完了。这个过程中回顾下立体视觉，为了便于进一步理解基础矩阵，又写了下面的一些内容）

______________

2.为什么要有基础矩阵

要理解基础矩阵，先要明白对极几何。

对极几何是立体视觉的几何基础。具体来讲它包括两部分：两个针孔摄像机模型和像平面上的点。左侧摄像机光心Ol，右摄像机光心Or和和观测点P构成一个平面-极面,即平面POlOr。极点为投影中心连线与投影面之间的交点，即光心之间连线在像平面的交点，图中的el，er。pl el，pr er的连线（虚线部分）称为极线。

<img data-rawheight="258" data-rawwidth="484" src="https://pic4.zhimg.com/3e7de9edd897207d576b9c3a1bc767cf_b.png" class="origin_image zh-lightbox-thumb" width="484" data-original="https://pic4.zhimg.com/3e7de9edd897207d576b9c3a1bc767cf_r.png">


通过把两摄像机强行掰成平行（计算外参数矩阵，旋转R和平移T，建立理想中的平行模型），再经过三角测量，就可以通过P点在左右两个像平面坐标得出P点在真实世界中的三维坐标位置了。

大概过程是这样。这个过程中没基础矩阵都没有露脸，应该没它什么事了。

且慢。这个过程中还存在立体匹配，也就是假如有一个点P'非常像点P，一个摄像机捕获并确认P了，那么怎么确保其余的摄像机不将P‘认错成P。特征匹配可能解决票匹配，但不是最好方法。现在，基础矩阵上场了，三下五除二将左右两幅图像对应点对应关系理清了。此外，在立体矫正（（所有摄像机成像平面）像平面平行且行对准（水平上一致））中基础矩阵也能发挥它的作用。

3.本征矩阵和基础矩阵

3.1本征矩阵

本征矩阵满足性质：

Pl*E*Pr=0 （1）

Pl，Pr分别P点在左右摄像机坐标系中的坐标。具体推算可以参考《学习opencv》12章节。这儿说下书上没直接谈到的地方。

E的秩为2，E中一共有5个参数，其中有3个旋转参数，2个平移参数。

按照上边对基础矩阵的定义，只需要将空间三维坐标Pl和Pr转化为各自的像平面的像素坐标并代入（1）就可以求出基础矩阵F了，胜利就在眼前。但是，我们知道可以直接将空间坐标通过摄像机矩阵转化为像素坐标。但反过来就不行了，因为单靠一张图，无法知道深度数据（z轴坐标）。

但还是可以的。

由投影原理：

MP =q

其中 q= [x y z]，为像平面齐次坐标表示 ;P=[X,Y,Z]，为摄像机坐标系中的三维坐标,M为摄像机内参矩阵：

<img data-rawheight="70" data-rawwidth="79" src="https://pic3.zhimg.com/f07e1af7d71ab26e879fe1195dfb35c2_b.png" class="content_image" width="79">最终计算得：z=Z;

最终计算得：z=Z;

也就是如果要使用q代入式（1），只需要令z的齐次坐标为[x,y,Z](Z为观测点P的z方向上坐标)。

（在《学习opencv》中它将Z令为焦距f）
3.2基础矩阵

现在只需要将P=M-1q代入式（1），即可得基础矩阵F。
（2）

因此基础矩阵：
（3）

其中F的秩也为2。F有七个参数，其两个参数表示对极平面，三个参数表示两个像平面的单应矩阵。

基础矩阵的性质：

ql*F*qr = 0 （ql，qr分别为P点在左右像平面的像素坐标）

F*ql=lr。（Ir为ql对应在右摄像机像面上的极线）

也即基础矩阵的作用，除了立体视觉中各个像平面上的像素对应的关系，还可以理解为基础矩阵将像平面的一点转化为它对应的极线（该极线在另外的摄像机像平面上）。

由（2）可以看出，相对于本征矩阵，基础矩阵多包含了摄像机内参数信息。