【信源编码 作业一】视频音频数据源

1. 视频数据的数据源

1.1 RGB的概述

由物理三基色构成的计色系统称为物理三基色计色系统，简称为RGB计色系统，RGB代表红、绿、蓝三个通道的颜色。这项标准几乎囊括了人类视觉所能感知到的所有颜色，是目前运用最广的颜色系统之一。

1931年国际照明委员会确定RGB三基色：波长为700.0nm的红光（R），波长为546.1nm的绿光（G）和波长为435.8nm的蓝光（B），如标准白光（E）的三基色光通量配比为1：4.5907：0.0601。在图像处理中RGB这三原色构成了基本表色系统。

1.２ YUV的概述

在显示器发明之后，从黑白显示器发展到彩色显示器，人们开始使用发出不同颜色的光的荧光粉，或者不同颜色的滤色片，或者不同颜色的半导体发光器件来形成色彩，无一例外的选择了RGB这3种颜色的发光体作为基本的发光单元。通过控制他们的发光强度，组合出了人眼能够感受到的大多数的自然色彩。 计算机显示彩色图像的时候也不例外，最终显示的时候，要控制一个像素中RGB的值来确定这个像素的颜色。计算机无法模拟连续的存储从最暗到最亮的量值，只能以数字的方式表示，因此结合人眼的敏感程度，使用3个字节（3*8位）来分别表示一个像素里面RGB的发光强度数值，这就是常见的RGB格式。但是对于视频捕获和编解码等应用来讲，这样的表示方式数据量太大了，需要想办法在不太影响感觉的情况下，对原始数据的表示方法进行更改，减少数据量。无论中间处理过程怎样，最终都是为了展示给人观看，这样的更改也是从人眼的特性出发，和发明RGB三原色表示方法的出发点是一样的。因此使用YUV模型来表示颜色。YUV是被欧洲电视系统所采用的一种颜色编码方法（属于PAL），主要运用于优化彩色信号的传输，“Y”代表明亮度，“U”和“V”代表色度。

1.３ RGB与YUV的转换

RGB和YUV之间可以相互转化，RGB转换为YUV的转换方程如下所示：

Y=0.299R+0.587G+0.114B ，

U=-0.147R - 0.289G + 0.436B ，

V=0.615R - 0.515G - 0.100B

YUV还原为RGB的还原方程如下所示：

R = Y + 1.14V ，

G = Y - 0.39U - 0.58V ，

B = Y + 2.03U

1.4 色度格式

如果每种原色分别对应一个采样， 则需要三个采样表示一个彩色点，比如一个采样点是8位的，那么一个彩色点即为24位，也就是RGB 8:8:8采样。而YUV采样则包括三种格式：1. YUV 4:4:4采样，每一个Y对应一组UV分量；2. YUV 4:2:2采样，每两个Y共用一组UV分量；3. YUV 4:2:0采样，每四个Y共用一组UV分量。

YUV 4:4:4采样：Y、U、V三个分量都是由4*4大小的矩形所构成的， 每个像素都对应三个YUV分量，如下图所示：



YUV 4:2:0 采样：U分量和V分量隔行采样， 同时U、V分量在其采样行上也是隔行采样，如下图所示：





由上述比较可知，要将YUV 4:4:4采样转换成YUV 4:2:0的关键在于插值到采样的缺口处，最典型的方法是双线性插值法，具体方法如下所示：

首先对U分量进行插值，由上图可知，U00、U02、U20、U22是已知的：

U01 = (U00 + U02)/2，

U10 = (U00 + U20)/2，

U11 = (U00 + U02 + U20 + U22)/4，

……

剩下的也采用此种方法计算，对于边缘点（如U30~U33, U03~U33）的处理可以直接用邻近的点来代替。对V变量的插值处理与U分量类似。

2. 音频数据的数据源

2.1 PCM通信系统

pcm编解码的系统框图如下图所示：



PCM编码完成后得到音频信号，将其存储为播放器能够识别的音频格式，最常用的存储格式是WAV 格式。

2.2 WAV的概述

WAV是微软公司开发的一种声音文件格式，它符合RIFF(Resource Interchange File Format)文件规范，用于保存Windows平台的音频信息资源，标准格式化WAV文件的采样频率为44100Hz，采样比特为16bit，因此标准的WAV文件和CD音频格式一样，也是44.1KHz的取样频率，16位量化数字，是双极性信号，即信号在变化的过程中会经过“零”。WAV文件分为两个部分，第一个部分是wav头文件，第二个部分是PCM编码的音频数据部分，即脉冲编码调制，这就是WAV格式音频资源保存量化的方式。