2.图像采集

2.1 视觉过程

视觉过程由光学过程、化学过程和神经处理过程三个过程构成。

1.光学过程

人的眼睛是人类视觉系统的重要组成部分，是实现光学过程的物理基础。

眼睛可以视为一个直径20mm的球体，球体前端有一个晶状体（lens），对应于照相机的镜头，而晶状体前端的瞳孔（pupil）对应照相机的光圈。球体内壁有一层视网膜（retina），它是含有光感受器和神经组织网络的薄膜，对应照相机的胶片。



2.化学过程

视网膜的表面分布着一个个光接收细胞，他们可接受光的能量并形成视觉图案。光接收细胞有两类：锥细胞（cone）和柱细胞（rod）。每个眼里有6 000 000~7 000 000个锥细胞，它们对颜色很敏感。每个细胞各自连到他自己的神经末梢。锥细胞视觉称为适亮视觉（photopic vision）;柱细胞比锥细胞多很多，在视网膜上大约有75 000 000~150 000 000个柱细胞。它们分布面大但分辨率低，这是因为几个柱细胞对应一个神经末梢。柱细胞仅在非常暗的光线下工作，并对低照度敏感。柱细胞主要提供视野的整体视像，因为只有一种，柱细胞不感受颜色。例如在月光下彩色的物体看起来是无色的，因为月光下只有柱细胞在工作。这叫做适暗视觉（scotopic vision）。

视网膜中心称为中心凹（fovea），是眼睛内对光最敏锐的区域。锥细胞在中心凹区域的密度很高。

在视网膜中，视网膜将光学图像通过化学反应转换成其他形式的信息。

3.神经处理过程

神经处理过程是一个在大脑神经系统里进行的转换过程。每个视网膜接收单元都与一个神经元细胞借助突触（synapse）相连。每个神经元借助其他突触再与其它细胞相连，从而构成光神经(optical nerve)网络。光神经进一步到达大脑中的侧区域连接，并到达大脑中的纹路皮层（striated cortex）。在那里，对光刺激产生的相应通过一系列处理最终形成关于场景的表象，从而将对光的感觉转化为对景物的知觉。

2.2 成像中的空间关系[/b]

2.2.1 成像几何

1. 投影变换

假设摄像机坐标系统xyz中的各坐标轴分别与世界坐标系统XYZ中的各坐标轴平行。

镜头中心坐标是(0,0,λ)

设(X,Y,Z)是3-D空间中任意点W的世界坐标。假设Z>λ,即所有客观场景中感兴趣的点都在镜头的前面。

首先建立点W(X,Y,Z)与其投影到图像平面的坐标间的联系，获得如下公式：

xλ=−XZ−λ=Xλ−Z

yλ=−YZ−λ=Yλ−Z

式中X和Y前面的负号代表着图像点反转。可得到3-D点投影后的图像平面坐标：

x=λXλ−Z

y=λYλ−Z

上述投影变换将3-D空间的线段投影为图像平面的线段。

3-D空间的矩形投影到图像平面后可能为任意四边形，由4个顶点所确定。因此，常有人将投影变换称为4-点映射（four-point mapping）

2.齐次坐标

平面上的直线可用ax+by+c=0来表示，因此一条直线也可以用矢量l⃗ =[a,b,c]T来表示。

对一条直线l⃗ =[a,b,c]T，当且仅当ax+by+c=0时点x⃗ =[x,y]T在这条直线上。用内积形式表示的话就是[x,y,1]⋅[a,b,c]T=[x,y,1]⋅l⃗ =0。我们同样用齐次矢量的方式来表示点，任意一个表达点的齐次矢量的形式在表达点[x1x2,x2x3]T的时候都是x⃗ =[x1,x2,x3]T。

空间一个点的笛卡尔坐标XYZ的齐次坐标定义为(kX,kY,kZ,k),其中k是一个任意的非零常数。很明显将齐次坐标变会笛卡尔坐标可用第4个坐标量去除前3个坐标量得到。这样一个笛卡尔世界坐标系统中的点可用矢量形式表示为：

w⃗ =[XYZ]T

其对应的齐次坐标可表示为：

wb→=[kXkYkZk]T

若定义投影变换矩阵为：

P=⎡⎣⎢⎢⎢⎢⎢10000100001−1λ0001⎤⎦⎥⎥⎥⎥⎥

那么它和wb→的乘积Pwb→给出一个矢量cb→:

cb→=Pwb→=⎡⎣⎢⎢⎢⎢⎢10000100001−1λ0001⎤⎦⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢kXkYkZk⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢kXkYkZ−kZλ+k⎤⎦⎥⎥⎥⎥⎥

这里cb→的元素是齐次形式的摄像机坐标，这些坐标可用cb→的第四项分别去除前三项转换成笛卡尔形式。所以，摄像机系统中任一点的笛卡尔坐标可表示为矢量形式：

c⃗ =[xyz]T=[λXλ−ZλYλ−ZλZλ−Z]T

其中c⃗ 的前两项是3-D空间点(X,Y,Z)投影到图像平面后的坐标(x,y)。

3.逆投影变换

逆投影变换是根据2-D图像来确定3-D客观景物的坐标，或者说一个图像点反过来映射到3-D空间。因此有：wb→=P−1cb→

其中逆投影变换矩阵P−1是:

P−1=⎡⎣⎢⎢⎢⎢⎢100001000011λ0001⎤⎦⎥⎥⎥⎥⎥

我们设一个图像点的坐标为(x′,y′,0),则这个点可用齐次矢量形式表示为：

cb→=[kx′ky′0k]T

得出：wb→=[kx′ky′0k]T

相应的笛卡尔坐标系中的世界坐标矢量是：

w⃗ =[XYZ]T=[x′y′0]T

由上可知，由图像点(x′,y′)并不能确定唯一3-D点的Z坐标，因为图像点(x′,y′)现在对应于过(x′,y′,0)和(0,0,λ)的直线的所有共线3-D点的集合。而又有投影变换可知：

X=x′λ(λ−Z)

Y=y′λ(λ−Z)

上两式表明，除非对投影到图像点的3-D空间点有一些先验知识，否则无法将一个3-D的坐标从它的图像中完全恢复过来。

2.2.2 观察距离和角度

上述在讨论空间点和图像点之间的投影关系的时候，忽略了点的尺寸。事实上，点的尺寸也很重要，正常人视力的角区分能力约为1分，若一个点在眼睛的视场中对应不到1分(1/60∘)的弧对应的张角，则人观察不到这个点，而如果两个相邻点与眼睛的连线的夹角不到1分，则人分辨不出这两个点。

最远观测距离/能看见的最小尺寸的点：例如，对483线的普通电视（每帧525行，屏幕上实际可见的是483行，按宽高比4：3，则每行644个像素），最佳的观测距离约为画面高度的7.1倍，水平观测的角度约为11∘;对其有1080线的高清晰度电视（宽高比16:9），最佳的观测距离约是屏幕高度的3.2倍，水平观察的角度约为28∘。示意图如下：



2.2.3 景深

实际使用的光学系统只能对一定距离内的目标清晰成像。如果目标太远，像就会模糊不清。另一方面，当光学系统聚焦在某个距离时，它对这个距离上下一定范围内的景物所成像的清晰程度都可以满足要求，这个距离范围称为景深（depth of focus），示例如下：



由图可见，当目标与镜头的距离增加的时候，对应的图像平面会移近镜头，一个点的图像会扩散为一个半径为D的圆盘。目标平面的移动量Z和D之间的关系可用下面的薄透镜成像公式计算：

1f=1d0+1di其中d0和di分别是目标和图像与镜头的距离。对没有正确聚焦的目标，有如下关系存在：

(Z为景深，z为模糊圆盘位置和正确聚焦位置的差，d′o和d′i分别为没有正确聚焦时目标和图像与透镜的实际距离)

do′=do+Z d′i=di−Z

对Z和z进行一阶泰勒展开（设Z<<do和z<<di）得到：

z=di2d2oZ

引入f-因数（焦距f与光圈直径2r的比）：ni=f2r

利用D≈(r/di)z的关系，可得景深Z作为D(可允许的不清楚半径)的函数：

Z≈2nido(do−f)f2D=2nid2ofdiD

(1)景深Z与镜头的f-因数成正比，当ni→∞的极限对应具有无穷景深的小孔相机。

(2)目标距离很远，do>>f，对应一般拍照的情况，目标尺寸比图像尺寸大很多，此时f≈di,景深Z为Z≈2niDd2of2此时景深与焦距的平方成反比=>小的焦距导致大的景深。

举例：一个高分辨率的CCD相机的像元尺寸约为10μmX10μm,因此可允许的不清晰半径为5μm。设有一个f-因数为2，焦距为15mm的镜头，则他的景深当目标距离为1.5m时为±0.2m。

(3)目标-图像尺寸为1:1时，do≈di≈2f

对应复制的情况，目标和图像有相同的尺寸，景深为：Z≈4niD

景深现在不依赖于焦距，且可允许的不清晰半径D有相同的量级。

仍考虑前面D为5μm，f-因数为2的情况，此时景深只有40μm，即只有很小的一个目标范围可清晰成像。

(4)目标距离很近，镜头焦距也很小，do≈f和di>>f

这对应显微成像的情况，目标尺寸比图像尺寸小很多，尽管目标被放大了很多，但景深更小了，可写为：

Z≈2niDdodi当放大倍数为50，即di/do=50且ni=1时，得到的景深特别小，只有0.2μm。

2.3 光度学和光度视觉

研究各种电磁辐射强弱的学科称为辐射度量学。其一个最基本的量是辐射通量（radiation flux），或者说辐射功率或者辐射量，单位是W。

具体研究光的强弱的学科叫做光度学。在光度学中，使用光通量（luminous flux）表示光辐射的功率或光辐射量，其单位为lm(流明)。

量度光通量常需要将光辐射量用反映人眼光谱响应的特性进行加权以得到对眼睛有效的通量。

2.3.1 光度学

1.点光源和扩展光源

点光源：光源线度足够小，或距离观察者足够远，以至于眼镜无法分辨形状时，可称为点光源。点光源Q沿某个方向r的发光强度(luminous intensity)I定义为沿此方向上单位立体角内发出的光通量。

立体角：从一点（称为立体角的顶点）出发通过一条闭合曲线上所有点的射线围成的空间部分，所以立体角表示由顶点看闭合曲线时的视角。具体可以取一立体角在以其顶点为球心所做的球面上截出的部分面积与球面半径的平方之比作为对该立体角的度量。立体角的单位是球面度，记为sr。一个球面度对应在球面上所截取的面积等于以球半径为边长的正方形面积时的立体角。

如果以r为轴取一个立体角元dΩ，设dΩ内的光通量为dΦ,则点光源的强度在沿r方向的发光强度为：I=dΦdΩ，发光强度单位是cd(坎[德拉])，1cd = 1lm/sr。

实际的光源总有一定的发光面积，称为扩展光源。扩展光源表面的每块面元dS沿某个方向r有一定的发光强度，其沿r方向的总发光强度为各个面元沿r方向的发光强度之和。



2.亮度和照度

设r与面元dS的法线N⃗ 的夹角是θ，如迎着r方向观察时，其投影面积为dS′=dScosθ。

面元dS沿r方向的光度学亮度(brightness)B定义为在r方向上单位投影面积在单位立体角内发出的光通量：

B=dIdS′=dIdScosθ=dΦdΩcosθ亮度单位为cd/m2(坎[德拉]美每平方米)

照度：照射在单位面积上的光通量。设面元dS上的光通量为dΦ,则此面元上的照度E为：E=dΦdS照度的单位是lx(勒[克斯])，1lx=1lm/m2

3.亮度和照度的讨论

照度：对具有一定强度的光源照射场景的辐射量的量度，要受到从光源到物体表面距离的影响，对实际景物讨论它所受到的照度，并将其看作光源。

亮度：在有照度基础上对观察者所感受到的光强的量度，与从物体表面到观察者的距离无关，对光源讨论其发出的亮度。

主观亮度(subjective luminance)：由人的眼睛依据视网膜感受光刺激的强弱所判断出的被观测物体的亮度。

对于扩展光源，规定眼睛的主观亮度就是视网膜上的像照度。

对于点光源，它在视网膜上的像只落在个别的感光单元上。此时主观亮度不取决于像的照度，而取决于进入瞳孔的总光通量。

像亮度与光源上每个面元发出的总光通量中有多少进入观察器有关，可表示为：L′=k(n′n)2L,其中L′是像亮度，L是物亮度，n′和n分别是像方空间和物方空间的折射率，k为透射率。当n′=n时，忽略光的损失(k≈1),则像亮度近似等于物亮度，并与物像的相对位置和成像系统的放大率无关。

像照度决定了使成像物（如底片）感光的总光通量。在光点距光轴很近时，有：

E=kπLu2oV2其中k为折射率，uo为入射孔径角，L是物亮度，V是横向放大率。

在像距远大于焦距时，像照度与横向放大率平方成反比，例如使用投影仪会使像在放大的同时变暗。

在物距远大于焦距的情况下，像照度基本保持不变，如用照相机拍摄远近不同的目标时，只要物亮度相同，底片的感光程度是一样的。

2.3.2 一个简单的成像模型

图像在这里代表一个2-D亮度函数f(x,y),0<f(x,y)<∞,由两个因素确定：入射到可见场景上光的量，叫做照度函数i(x,y)；场景中物体对入射光的反射的比率，称为反射函数r(x,y)。f(x,y)=i(x,y)r(x,y)其中0<i(x,y)<∞ 0<r(x,y)<1即入射量总大于零，但也不是无穷大（物理上需要能够实现）； 反射率在0(全吸收)和1(全反射)之间。

一般将单色图像f(⋅)在坐标(x,y)处的亮度值称为图像在该点的灰度值(用g表示)，g在下列范围内取值：Gmin≤g≤Gmax理论上对Gmin的唯一限制是其为正（但多置零），而对Gmax的唯一限制是其应该有限。将[Gmin,Gmax]称为灰度值范围。

2.3.3视觉系统对光的感知特点

1、亮度适应：人的视觉系统是靠改变具体敏感度范围来实现亮度适应的，人的视觉系统在同一时刻所能够区分亮度的具体范围比总的适应范围要小很多，在一定条件下，一个视觉系统当前的敏感度叫做亮度适应级。人眼在某一时刻所能感受到的具体范围（主观亮度范围）是以此适应级为中心的一个小范围。

2、主观亮度影响：同样的物体在亮的背景下显得较暗，在暗的背景下显得较亮。举例：同时对比度 马赫带效应。

3、亮度变化的感知：人类视觉系统对亮度变化的感知比亮度的感知还要敏感。

人类视觉系统对光强度的响应不是线性的，而是对数形式的。在一个较宽的亮度范围内，人类视觉系统对相对亮度差的分辨率约为（所感受到具体范围的）2%。这个分辨率特别与所观察模式的空间频率（波长）有关。在一定波长下，对亮度的分辨率达到最优。

图像采集装置对光强度的响应常常是线性的。

会导致的问题：场景里亮度动态范围过大;一个解决方法是将发射强度根据对数关系转化成灰度g,比如g=Er

2.4 采样和量化

图像必须要在空间和灰度上都离散化才能被计算机处理。

空间坐标的离散化称为空间采样（采样），它确定了图像的空间分辨率；灰度值的离散化称为灰度量化，确定了图像的幅度分辨率。

存储一幅图像所需要的位数为：b=M∗N∗k当M=N的时候，则b=N2k

其中MxN是图像的尺寸，即其空间分辨率；图片的幅度分辨率是2k,即图片被量化为了2k个灰度级。

2.4.2 图像质量与采样和量化

图像空间分辨率所产生的效果，图像幅度分辨率所产生的效果：

（1）图像质量一般随N和k的增加而增加，在极少情况下对固定的N，减少k可以改进质量（可增加图像看起来的反差）。

（2）对大量细节的图像只需要很少的灰度级数就可极好的表示。

（3）b为常数的一系列图像主观看起来可以有较大的差异。

2.4.3 对采样和量化的讨论

采样：实际中选择采样值的一个重要因素是看需要观察到图像中哪个尺度的细节。主要受到传感器技术的限制。

量化：人类视觉系统的分辨率；要满足应用所需要的分辨率。

实际中允许考虑非均匀的采样和量化。

图像的变焦操作和采样与量化有一定的关系。拉近变焦(zoom in)可看作一种过采样（超过采样定律的采样），而拉远变焦(zoom out)可看作一种欠采样（不满足采样定律的采样）。