关于录音录像软件项目的记录

摘要: 签下军令状一个月完成该项目，几经波折，如期完成，先记录如下。

软件需求：
1、最大可并行30路对讲录音录像
2、语音为PCM格式数据，视频数据为H264格式
3、需要混合两台终端对讲的语音数据和视频数据为一个MP4文件。
软件解决思路：
1、通信采用完成端口实现
2、语音数据可实时混合写入wav文件，对讲结束后，将wav文件转为aac文件
3、视频数据先保存为两路H264文件，对讲结束后再将两路整合为一路视频H264文件
4、最后将aac文件和H264文件进行合并为MP4文件
技术难点：
1、音视频同步
2、两路视频的整合
3、通信的实时处理
技术工具：
FFMPEG库
弯路：
1、前期采用ortp库去接收视频数据，发现超过两路视频后，通信接收速度下降，只能保证一路视频能按帧率接收。
2、对于视频丢帧没有采取插入黑白帧的方式保持同步。
3、对于H264帧的解码判断