图像坐标系、摄像机坐标系与世界坐标系

位姿

位姿是指一个物体的位置和方向（The pose of an object refers to its location and orientation）。

一个物体的位置可以用(x,y,z)来表示。而方向可以用(α,β,γ)来表示，它们是表示围绕三个坐标轴旋转的角度。所以一个位姿有6个自由度，如下图所示：

图像坐标系

首先，介绍图像坐标系。

每幅数字图像在计算机内为M∗N数组，M行N列的图像中的每一个元素（称为像素，pixel）的数值即是图像点的灰度值。如图所示，在图像中定义直角坐标系u,v，每一像素的坐标(u,v)分别是该像素在数组中的列数和行数。所以，(u,v)是以像素为单位的图像坐标系坐标。由于(u,v)只表示像素位于数组中的行数和列数，并没有用物理单位表示出该像素在图像中的位置。所以建立以物理单位（如毫米）表示的图像坐标系的坐标。图像中任意一个像素在这两个坐标的关系为：

{u=XdX+u0v=YdY+v0

用齐次坐标将上式表示为：

⎡⎣⎢uv1⎤⎦⎥=⎡⎣⎢⎢⎢⎢⎢1dX0001dY0u0v01⎤⎦⎥⎥⎥⎥⎥

摄像机坐标系和世界坐标系

由于摄像机可安放在任意位置，在环境中选择一个基准坐标来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可以用旋转矩阵R与平移向量 t 来描述。那么，存在如下关系：

⎡⎣⎢⎢⎢xyz1⎤⎦⎥⎥⎥=[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥

其中，R为 3∗3 矩阵；t 为三维平移向量；O=(0,0,0);

针孔成像模型、相机坐标系与像平面坐标系

空间中任何一点P在图像中的成像位置可以用针孔成像模型近似表示，即任何点P在图像中的投影位置p，为光心 O与P点的连线OP与图像平面的交点。由比例关系有如下关系：

⎧⎩⎨X=fxzY=fyz

其中，(X,Y)为p点的图像坐标；(x,y,z)为空间点P在摄像机坐标系下的坐标，f 为xy平面与图像平面的距离，一般称为摄像机的焦距。用齐次坐标和矩阵表示上述投影关系：

s⎡⎣⎢XY1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢xyz1⎤⎦⎥⎥⎥=P⎡⎣⎢⎢⎢xyz1⎤⎦⎥⎥⎥

其中，s为一比例因子，P为透视投影矩阵。

综合以上的关系，我们可以得到：

s⎡⎣⎢uv1⎤⎦⎥=⎡⎣⎢⎢⎢⎢⎢1dX0001dY0u0v01⎤⎦⎥⎥⎥⎥⎥⎡⎣⎢f000f0001000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥

从而可以得到：

s⎡⎣⎢uv1⎤⎦⎥=⎡⎣⎢αx000αy0u0v01000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=M1M2Xw=MXw

其中，α=fdX为 u轴上尺度因子，或称为u轴上归一化焦距；α=fdY为 v轴上尺度因子，或称为v轴上归一化焦距;M为3∗3矩阵，称为投影矩阵；M1由αx,αy,u0,v0决定，由于αx,αy,u0,v0只与摄像机内部参数有关，称这些参数为内部参数；M2由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数。