音视频学习概述

赞美雷神
我这篇博客,可以理解为最近看的雷神文章的一个梳理

首先来一张总的机构图:



音视频数据在网络上传输使用的是http,rtmp等协议

关于rtmp
http://blog.csdn.net/leixiaohua1020/article/details/11694129

我们解析这些协议后,就会得到被封装的数据格式

这些被封装的数据一般采用MP4,mkv,rmvb,flv,avi等等,这里面包含着音频与视频数据。

关于flv的格式:
http://blog.csdn.net/leixiaohua1020/article/details/17934487

我们下一步就是解封装,就是吧rmvb,mkv等被封装的数据解封,输出h.264编码的视频流和aac编码的音频流。

h.264,aac就是我们说的音视频编码

h.264只是编码的标准,并非具体的编码器。

下面是解码,就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。

而rgb,yuv等都是视频像素数据

pcm是音频采样数据