WebRTC 学习笔记(3)--媒体处理及编解码部分
2014-06-05 14:11
288 查看
WebRTC 学习笔记(3)--媒体处理及编解码部分
说明:此系类的内容都是本人自己对libjingle native API代码的学习总结。其中可能存在不准确甚至是错误的内容。欢迎大家帮忙指出错误。1, 此部分代码主要完成媒体处理,编解码,RTP/RTCP 编解码等。下图是主要的模块图:
2,主要模块间通信及相互引用关系。
下图中模块对应于上图中模块的描述。下图仅罗列主要模块的通信关系。
3, VideoEngine模块
VideoEngine模块是媒体处理的核心模块。对外暴露媒体处理的接口,对内管理连接内部的其他模块。
下图中蓝色部分为其他模块,黄色部分为VideoEngine内部类。
VideoEngine:对外部的接口(code中的接口是通过很多类实现,这些接口类并没有做实际工作,只是为使用方便将不同接口归类。)
VieChannel:该模块的核心类,主要工作都在此类中实现。
ChannelGroup:包含多个channel,一个group中的所有channel共享许多资源(如带宽控制,带宽估计等)
VieCapture:采集数据处理类。此类并没有实现真正的图像采集工作。实际的采集工作由VideoCaptureModule或externalCapture实现。
此模块中channel的key为一个整形的ID值。此ID值将暴露给外部模块,并作为外部模块使用本模块的关键参数。在模块内部,此key值将VieChannel和VieEncoder关联起来。在建立VieCapturer时,会根据此key将数据发送到对应的VieEncoder上,从而在模块内部实现不同类的关联。
下图是发送数据时,VideoEngine内部类的调用关系
下图是接收数据时,内部各类的调用关系:
4, rtp_rtcp模块
此模块主要功能是:
1) 将编码器生成的数据封装成RTP包
2) 将由网络受到的数据包解析成Payload数据
如下图所示,模块主要功能有下部的4个类实现,ModuleRtpRtcpImpl 仅提供一个统一对外接口,以及一些参数检查工作。
5,capture模块
此模块提供视频捕捉功能。捕捉到的数据通过VideoCaptureDataCallback回调给使用者。
在webretc项目中,此模块没有被直接使用。而是被封装成cricket::VideoCapture,然后作为一个externalCapture来使用。
6, render 模块
此模块提供视频渲染功能。调用者通过AddIncomingRenderStream函数得到VideoRenderCallback的实例,再通过VideoRenderCallback接口的RenderFrame方法渲染图像。
在webretc项目中,真正的render工作不是由此模块提供,而是以external render的形式由外部模块提供。
7, webrtc_video_coding 模块
此模块负责视频的编解码工作
原文地址:/article/9284679.html
相关文章推荐
- WebRTC 学习笔记(3)--媒体处理及编解码部分
- Linux 学习笔记 -- 第三部分 学习 shell 与 shell script -- 第12章 正则表达式与文件格式化处理
- WebRTC 学习笔记(2)--libjingle 部分 (P2P传输)
- webrtc 学习笔记--libjingle 部分(P2P传输)
- swift学习笔记5——其它部分(自动引用计数、错误处理、泛型...)
- WebRTC 学习笔记(2)--libjingle 部分 (P2P传输)
- 黑马程序员_文件IO流部分疑点和JDK1.7版本后新try-catch处理学习笔记
- WebRTC 学习笔记(2)--libjingle 部分 (P2P传输)
- oralce学习笔记之异常处理篇
- Java中文处理学习笔记——Hello Unicode
- 学习altas笔记[客户端JS和Altas环境初始化关系和DataTable返回数据的客户端处理]
- 学习Altas 笔记[js调用重载的方法出错,如何处理]
- 学习Altas 笔记[js调用重载的方法出错,如何处理]
- Java中文处理学习笔记——Hello Unicode
- MyGeneration学习笔记(8) :dOOdad提供的数据绑定、特殊函数和事务处理
- DB2数据库的部分接触-〉从SQLServer数据库转换到DB2的学习和笔记
- [转]Java中文处理学习笔记——Hello Unicode
- [ASP.NET学习笔记之二十一]ASP.NET中的事件处理
- Java中文处理学习笔记——Hello Unicode