视频编码与封装

视频编码与封装
1、视频编码

(1) 主流的视频编码：H.264 MPEG M-JPEG;其次还包括：divx xvid rm/rmvb

(2) MPEG：包括 MPEG-1 MPEG-2 MPEG-4

a) MPEG-1：主要应用于 VCD

b) MPEG-2: 主要应用于 DVD, 应用广泛,十分成功.

c) MPEG-4：主要是指 MPEG-4 第2部分, 第二代压缩编码技术

(3) H.264 (也就是 MPEG-4 第10部分)

a) H.264 是数字视频编码标准

b) H.264 = MPEG-4 (第10部分) = MPEG-4 AVC

c) 不论是 MPEG-4 AVC、MPEG-4 Part10,还是ISO/IEC 14496,都是指 H.264；H.264 也是 MPEG-4 的一部分。

d) H.264 压缩技术后的数据量只有MPEG-2的1/8,MPEG-4(part2)的1/3；应用于实时通信(如视频会议),可以工作在没有延时的视频存储或视频流服务器中；H.264性能的改进是以增加复杂性为代价--增加了编解码的复杂度。

e) 在系统层面上，H.264提出了一个新的概念，在视频编码层(Video Coding Layer,VCL)和网络提取层(Network Abstraction Layer,NAL)之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。

(4) M-JPEG : 源于JPEG压缩技术

a) JPEG是一种静止图像的压缩标准，它是一种标准的帧内压缩编码方式。当硬件处理速度足够快时，JPEG能用于实时动图像的视频压缩。在画面变动较小的情况下能提供相当不错的图像质量，传输速度快，缺点是数据量较大。

b) M-JPEG源于JPEG压缩技术，是一种简单的帧内JPEG压缩，压缩图像质量较好，在画面变动情况下无马赛克，但是由于这种压缩本身技术限制，无法做到大比例压缩，录像时每小时约1-2GB空间，网络传输时需要2M带宽，所以无论录像或网络发送传输，都将耗费大量的硬盘容量和带宽，不适合长时间连续录像的需求，不大实用于视频图像的网络传输。

(5) divx：基于mpeg4开发的，有一定算法优化

(6) xvid：divx技术封锁之后被人破解开发的，也是基于mpeg4的编码技术更先进，采用开放源码，画质更好

(7) rm/rmvb: real 公司推出的应用于网络的高压缩编码，rm是固定码率，rmvb是动态码率（就是静态画面采用低码率，动态采用高码率）

2、 视频封装格式 -- 大多数情况下，视频文件的拓展名就是封装格式的名字

封装格式(也叫容器)：所谓封装格式就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中，也就是说仅仅是一个外壳，或者大家把它当成一个放视频轨和音频轨的文件夹也可以。说得通俗点，视频轨相当于饭，而音频轨相当于菜，封装格式就是一个碗，或者一个锅，用来盛放饭菜的容器。

主要的视频封装格式如下：avi ts/ps MOV MKV MP4 rmvb/rm flv

(1) AVI是微软1992年推出用于对抗苹果Quicktime的技术，尽管国际学术界公认AVI已经属于被淘汰的技术，但是由于windows的通用性，和简单易懂的开发API，还在被广泛使用。缺点：播internet流媒体时已属力不从心,从网络上下载的片子，如果没有下载完成，是很难正常播放出来.

(2) ts/ps: http://xcshen.blog.51cto.com/2835389/512770/
a) 编码上都统一采用MPEG2/VC-1/H.264;

b) PS封装，即Program Stream(程序流):后缀名是VOB以及EVO等,

c) TS封装，即Transport Stream(传输流)，TS流的后缀名为TS

d) TS流对于PS流来说更易传输，不过由于其性质，也更易出错，所以在以前一般存储方面都是使用PS流，当然现在随着容错/纠错技术的提高，TS的适用范围越来越广.

e) TS不像AVI，从诞生那天起，就考虑到了网络播放，所以很快成为了世界标准并广泛应用于电视台数字播放，手机等各个领域。

(3) MOV: MOV是Quicktime封装，这一封装和AVI几乎是同一时代的，缺陷也不少。

(4) MKV: MKV是Matroska的简称，它是一种新的多媒体封装格式，比较常见的搭配是X264+MKV

a) 可变帧率

b) 错误检测以及修复：这无疑提供了纠错和容错性，在网络传输的今天尤为需要

c) 流式传输: 与 ts 相似

d) 强大的兼容性：MKV最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流;

e) 开放性和跨平台性：Matroska使用的是一种开放的架构，拥有众多的先进特性，并且能跨平台使用

f) 一般MKV用的最多的就是H264+AAC组合，此组合文件体积最小，清晰度最高。因此网上很多MKV视频都是高清晰度的

(5) MP4：主要应用于mpeg4的封装,常用的组合方式：H264+AAC

(6) rmvb/rm：Real Video，由RealNetworks开发的应用于rmvb和rm

(7) flv: 针对于h.263家族的格式

3、码率 帧率 分辨率 清晰度的联系与区别

(1) 码率：数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒；也就是取样率(并不等同于采样率，采样率的单位是Hz，表示每秒采样的次数)，单位时间内取样率越大，精度就越高；处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的。

a) 几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，围绕这个核心衍生出来cbr（固定码率）与vbr（可变码率）， "码率"就是失真度，码率越高越清晰，反之则画面粗糙而多马赛克。

b) 码率=采样率 x 位深度 x 声道; 文件大小 = 码率 x 时长 (此计算公式对未压缩的wav格式文件有效，不适用于mp3等被压缩的文件)。

(2) 帧率：就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次.

a) 影响画面流畅度,与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感;

b) 与播放视频的连贯性有关.

(3) 分辨率：影响图像大小,与图像大小成正比:分辨率越高,图像越大;分辨率越低,图像越小.

(4) 清晰度:

a) 在码率一定的情况下,分辨率与清晰度成反比关系:分辨率越高,图像越不清晰,分辨率越低,图像越清晰。

b) 在分辨率一定的情况下,码率与清晰度成正比关系,码率越高,图像越清晰;码率越低,图像越不清晰。