您的位置：首页 > 其它

视频编解码之理论概述和即时通信

2017-01-14 09:46 387 查看

前言

即时通讯应用中的实时音视频技术，几乎是IM开发中的最后一道高墙。原因在于：实时音视频技术 = 音视频处理技术 + 网络传输技术的横向技术应用集合体，而公共互联网不是为了实时通信设计的。有关实时音视频开发时的技术难题请参见《音视频云声网Agora：从demo到实用，中间还差1万个WebRTC》：http://www.52im.net/article-119-1.html

本文主要讲解实时音视频技术中视频技术的编解码基础理论。

视频为何需要压缩？

未经压缩的数字视频的数据量巨大

存储困难：一张DVD只能存储几秒钟的未压缩数字视频。

传输困难 1兆的带宽传输一秒的数字电视视频需要大约4分钟。

主要压缩了什么东西？

原始视频压缩的目的是去除冗余信息，可以去除的冗余包括：

空间冗余：图像相邻像素之间有较强的相关性

时间冗余：视频序列的相邻图像之间内容相似

编码冗余：不同像素值出现的概率不同

视觉冗余：人的视觉系统对某些细节不敏感

知识冗余：规律性的结构可由先验知识和背景知识得到

数据压缩是怎么分类的？

无损压缩（Lossless）：压缩前、解压缩后图像完全一致X=X'，压缩比低(2:1~3:1)。典型格式例如：Winzip，JPEG-LS。

有损压缩（Lossy）：压缩前解压缩后图像不一致X≠X'，压缩比高(10:1~20:1)，利用人的视觉系统的特性。典型格式例如：MPEG-2，H.264/AVC，AVS。

什么是“编解码器”？

编码器（Encoder）：压缩信号的设备或程序；

解码器（Decoder）：解压缩信号的设备或程序；

编解码器(Codec)：编解码器对。

编解码的技术流程和原理

1编码器中的关键技术

2编解码中的关键技术

编解码器的实现

编解码器的实现平台：

超大规模集成电路VLSI

ASIC， FPGA

数字信号处理器DSP

软件

编解码器产品：

机顶盒

数字电视

摄像机

监控器

视频编码的标准

编码标准作用：

兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码

高效：标准编解码器可以进行批量生产，节约成本。

主流的视频编码标准：

MPEG-2

MPEG-4 Simple Profile

H.264/AVC

AVS

VC-1

标准化组织：

ITU：International Telecommunications Union

VECG：Video Coding Experts Group

ISO：International Standards Organization

MPEG：Motion Picture Experts Group

视频传输

视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端

传输系统：互联网，地面无线广播，卫星

视频传输面临的问题

传输系统不可靠：

带宽限制

信号衰减

噪声干扰

传输延迟

视频传输出现的问题：

不能解码出正确的视频

视频播放延迟

视频传输差错控制

差错控制（Error Control）解决视频传输过程中由于数据丢失或延迟导致的问题。

差错控制技术有：

信道编码差错控制技术

编码器差错恢复

解码器差错隐藏

视频传输中QoS质量保证参数

数据包的端到端的延迟

带宽：比特/秒

数据包的流失率

数据包的延迟时间的波动

系列文章

全站即时通讯技术资料分类

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航

视频编解码之理论概述 和即时通信

前言