FFMPEG Qt视频播放器之播放控制
2017-10-27 20:42
996 查看
到这里,我们的视频播放器已经可以同步播放音视频了。现在 是时候给他加上一些控制的功能了。如播放、暂停、跳转等。
一、暂停功能实现
我们是在一个单独的线程中循环读取视频,所以只需要在需要暂停的时候,让读取的操作等下来即可。
做法如下:
1.首先引入一个变量用来记录是否处于暂停状态:
2.读取线程根据此变量来判断是否读取。这样就实现了暂停功能了。
但是,我们总共是有3个线程在运行,分别是:
1)读取线程
2)解码视频线程
3)解码音频线程
因此,读取的线程虽然停下了,但由于队列中还有数据,解码视频和解码音频的线程可以继续获取到数据并显示和播放,这就导致了暂停操作有一定的延时。
解决方法:
在解码视频和解码音频的线程中也一并判断上面设的pause变量:
解码视频线程:
解码音频线程:
需要注意的是,音频线程有里面有2个循环的地方,因此需要在这2个地方都做判断:
现在我们为VideoPlayer类加上2个函数,分别用来控制播放和暂停:
这两个函数中其实就是修改了下pause变量的值:
或许有人会问:为什么这里的pause被3个线程访问,都不加互斥锁呢?
因为这里仅仅是一个变量,很少出现其中一个线程写到一半,另一个线程就来访问的情况。
最主要的是,即使出现这种情况也没关系,举个例子:
假如,现在视频处于播放状态,pause是false,这时候主线程调用了暂停函数,将pause改成true,(由于一条赋值语句在汇编上是3条语句,因此中途CPU调度到另一个线程是很正常的),此时还没改完,就跑到了解码视频的线程,又刚好解码视频的线程处于判断这个变量的语句上,这时本该是暂停了,但由于主线程赋值语句没执行完,导致了pause还是false,于是解码线程就多解码了一张图片并显示了出来。
可以看出,这样没加互斥锁,仅仅导致了多显示一张图片,视频一秒钟都是显示十几张以上,我不相信有人可以感觉的出多显示这一张图片会有什么差别。
因此这个暂停操作在人眼看来还是“实时的”。
而且上面分析的还是非常极端的情况,就是[b]2个线程刚好都处在访问这个变量的情况。[/b]
所以喽,这里没必要加互斥锁,我们的原则是能省事的地方尽量省事。
二、跳转功能实现
和暂停一样,我们使用一个变量记录下是否需要跳转,在读取视频文件的线程中判断此变量,当需要跳转的时候就执行跳转操作。
跳转操作可以直接使用FFMPEG的跳转函数av_seek_frame来实现,函数原型如下:
这里需要注意两点:
我们有2个队列,音频队列和视频队列,这2个队列里面的数据是可以播放几秒钟的,因此每次执行跳转的时候需要同时将队列清空,所以先添加一个清空队列的函数:
然后每次调用seek的时候便执行一次清空操作:
这样执行之后,新的问题又来了。
每次跳转的时候都会出现花屏的现象。
是因为解码器中保留了上一帧视频的信息,而现在视频发生了跳转,从而使得解码器中保留的信息会对解码当前帧产生影响。
因此,清空队列的时候我们也要同时清空解码器的数据(包括音频解码器和视频解码器),
可以往队列中放入一个特殊的packet,当解码线程取到这个packet的时候,就执行清除解码器的数据:
然后在解码线程中如下操作(以解码图像线程为例,音频线程也是类似):
好了,现在我们给VideoPlayer类也封装一个seek函数吧:
和暂停函数类似,seek函数也只是设置一下变量而已:
到这里跳转还有一个问题没有解决:
第一篇文章我们就说过视频是每隔几秒才出现一个关键帧,而av_seek_frame只能跳转到关键帧,因此这里就会存在误差。举个例子:
假如 我们的视频 只有在10秒和15秒上才有关键帧,这时候我们希望跳转到13秒,调用
av_seek_frame后视频只能跳到10秒或者15秒,因为解码器解码视频必须要有关键帧的信息才能解码,因此av_seek_frame这样设定是合理的,所以我们seek之后还需要执行一些操作来处理这个情况。
这里先说下av_seek_frame中第三个参数flags的值:
官方定义:
#define AVSEEK_FLAG_BACKWARD 1 ///< seek backward
#define AVSEEK_FLAG_BYTE 2 ///< seeking based on position in bytes
#define AVSEEK_FLAG_ANY 4 ///< seek to any frame, even non-keyframes
#define AVSEEK_FLAG_FRAME 8 ///< seeking based on frame number
试验结果:
AVSEEK_FLAG_BACKWARD:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从0秒开始。
AVSEEK_FLAG_ANY:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从2秒开始。
AVSEEK_FLAG_FRAME:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从2秒开始。
注:I帧就是关键帧
于是我们在跳转的时候把第三个参数设置成:AVSEEK_FLAG_BACKWARD
来达到往前面跳转的目的,继续前面的例子,我们的目的是跳转13秒,现在实际是跳到了10秒的位置。此时读取函数正常读取将10~13秒的数据都放入了视频线程。所以视频就从10秒的位置开始播放了,显然这就和我们预期跳转的位置差了3秒。
虽然我们的播放器要求没那么精确,但还是希望完善它。
方法也很简单,首先解码器解码需要关键帧的信息,因此10到13秒的数据还不能丢弃,还是正常放入队列,让解码器解码之后不做显示而是直接丢弃。
同样的方法,再次加一个变量用来记录是否跳转:
(为了不影响主的跳转功能,这里把跳转标志分开):
然后在读取线程中,跳转完毕后,将这些标志设置上:
最后在解码线程中,解码完获取到pts后,加入如下语句判断:
(以视频为例,音频也是类似)
这样加上之后,跳转功能也完美了。
三、停止功能实现
我想到这里,大家也应该知道停止功能怎么实现了吧。和暂停功能一样,停止功能也加个变量来判断就好了,怎么做就不多说了,全是逻辑问题,发点时间就可以写出来了。
需要注意的一点是:
停止播放的时候,需要将SDL的音频设备也关闭了。
因为我们下一次打开的视频文件,其采样率和声道与这次不一定相同,因此每次打开新视频的时候,都需要重新打开音频设备。
所以停止函数如下:
需要注意的是:SDL_PauseAudioDevice会一直阻塞,直到其回调函数返回。因此,关闭SDL音频的时候需要确保回调函数(既这里的audio_callback)可以正常返回。
不巧的是,我们获取队列的函数中有这么一段:
可以看出,当队列是空的时候,获取数据的函数就停在这里,直到有数据放入队列。
而此函数又恰恰是在audio_callback中调用的,如果刚好这时候调用了SDL_PauseAudioDevice函数,2个线程就这样进入死锁了,基本是没救了。
表现出来的就是,停止的时候,程序就卡死了。
当然并不是每次停止都会卡死,因为只有刚好上面这种情况的时候才会发生死锁。
这个问题我调了好久才找到原因,
解决方法却很简单,只要在获取队列数据的地方,改成获取不到数据的时候返回,而不是阻塞。这样就OK了:
详细的,直接看完整的代码吧。
四、添加控制界面
首先在界面上加入几个控制用的按钮:
之后绑定这些按钮到槽函数:
槽函数如下:
到这里一个播放器的雏形就做好了:
当然这个界面很丑,但毕竟功能都实现了,可以开心一小会儿了。
另外,这里我们只是简单的加了几个按钮,并没有给按钮做好基本的逻辑控制,比如暂停的时候暂停按钮应该隐藏,类似这样的。
这样的好处是可以随便点击按钮去虐我们的播放器,看他都存在哪些问题,再一步一步完善它。
完整工程下载地址:
http://download.csdn.net/detail/qq214517703/9631101
学习音视频技术欢迎访问 http://blog.yundiantech.com
音视频技术交流讨论欢迎加 QQ群 121376426
一、暂停功能实现
我们是在一个单独的线程中循环读取视频,所以只需要在需要暂停的时候,让读取的操作等下来即可。
做法如下:
1.首先引入一个变量用来记录是否处于暂停状态:
1)读取线程
2)解码视频线程
3)解码音频线程
因此,读取的线程虽然停下了,但由于队列中还有数据,解码视频和解码音频的线程可以继续获取到数据并显示和播放,这就导致了暂停操作有一定的延时。
解决方法:
在解码视频和解码音频的线程中也一并判断上面设的pause变量:
解码视频线程:
需要注意的是,音频线程有里面有2个循环的地方,因此需要在这2个地方都做判断:
因为这里仅仅是一个变量,很少出现其中一个线程写到一半,另一个线程就来访问的情况。
最主要的是,即使出现这种情况也没关系,举个例子:
假如,现在视频处于播放状态,pause是false,这时候主线程调用了暂停函数,将pause改成true,(由于一条赋值语句在汇编上是3条语句,因此中途CPU调度到另一个线程是很正常的),此时还没改完,就跑到了解码视频的线程,又刚好解码视频的线程处于判断这个变量的语句上,这时本该是暂停了,但由于主线程赋值语句没执行完,导致了pause还是false,于是解码线程就多解码了一张图片并显示了出来。
可以看出,这样没加互斥锁,仅仅导致了多显示一张图片,视频一秒钟都是显示十几张以上,我不相信有人可以感觉的出多显示这一张图片会有什么差别。
因此这个暂停操作在人眼看来还是“实时的”。
而且上面分析的还是非常极端的情况,就是[b]2个线程刚好都处在访问这个变量的情况。[/b]
所以喽,这里没必要加互斥锁,我们的原则是能省事的地方尽量省事。
二、跳转功能实现
和暂停一样,我们使用一个变量记录下是否需要跳转,在读取视频文件的线程中判断此变量,当需要跳转的时候就执行跳转操作。
跳转操作可以直接使用FFMPEG的跳转函数av_seek_frame来实现,函数原型如下:
我们有2个队列,音频队列和视频队列,这2个队列里面的数据是可以播放几秒钟的,因此每次执行跳转的时候需要同时将队列清空,所以先添加一个清空队列的函数:
每次跳转的时候都会出现花屏的现象。
是因为解码器中保留了上一帧视频的信息,而现在视频发生了跳转,从而使得解码器中保留的信息会对解码当前帧产生影响。
因此,清空队列的时候我们也要同时清空解码器的数据(包括音频解码器和视频解码器),
可以往队列中放入一个特殊的packet,当解码线程取到这个packet的时候,就执行清除解码器的数据:
第一篇文章我们就说过视频是每隔几秒才出现一个关键帧,而av_seek_frame只能跳转到关键帧,因此这里就会存在误差。举个例子:
假如 我们的视频 只有在10秒和15秒上才有关键帧,这时候我们希望跳转到13秒,调用
av_seek_frame后视频只能跳到10秒或者15秒,因为解码器解码视频必须要有关键帧的信息才能解码,因此av_seek_frame这样设定是合理的,所以我们seek之后还需要执行一些操作来处理这个情况。
这里先说下av_seek_frame中第三个参数flags的值:
官方定义:
#define AVSEEK_FLAG_BACKWARD 1 ///< seek backward
#define AVSEEK_FLAG_BYTE 2 ///< seeking based on position in bytes
#define AVSEEK_FLAG_ANY 4 ///< seek to any frame, even non-keyframes
#define AVSEEK_FLAG_FRAME 8 ///< seeking based on frame number
试验结果:
AVSEEK_FLAG_BACKWARD:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从0秒开始。
AVSEEK_FLAG_ANY:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从2秒开始。
AVSEEK_FLAG_FRAME:若你设置seek时间为1秒,但是只有0秒和2秒上才有I帧,则时间从2秒开始。
注:I帧就是关键帧
于是我们在跳转的时候把第三个参数设置成:AVSEEK_FLAG_BACKWARD
来达到往前面跳转的目的,继续前面的例子,我们的目的是跳转13秒,现在实际是跳到了10秒的位置。此时读取函数正常读取将10~13秒的数据都放入了视频线程。所以视频就从10秒的位置开始播放了,显然这就和我们预期跳转的位置差了3秒。
虽然我们的播放器要求没那么精确,但还是希望完善它。
方法也很简单,首先解码器解码需要关键帧的信息,因此10到13秒的数据还不能丢弃,还是正常放入队列,让解码器解码之后不做显示而是直接丢弃。
同样的方法,再次加一个变量用来记录是否跳转:
(为了不影响主的跳转功能,这里把跳转标志分开):
(以视频为例,音频也是类似)
三、停止功能实现
我想到这里,大家也应该知道停止功能怎么实现了吧。和暂停功能一样,停止功能也加个变量来判断就好了,怎么做就不多说了,全是逻辑问题,发点时间就可以写出来了。
需要注意的一点是:
停止播放的时候,需要将SDL的音频设备也关闭了。
因为我们下一次打开的视频文件,其采样率和声道与这次不一定相同,因此每次打开新视频的时候,都需要重新打开音频设备。
所以停止函数如下:
不巧的是,我们获取队列的函数中有这么一段:
而此函数又恰恰是在audio_callback中调用的,如果刚好这时候调用了SDL_PauseAudioDevice函数,2个线程就这样进入死锁了,基本是没救了。
表现出来的就是,停止的时候,程序就卡死了。
当然并不是每次停止都会卡死,因为只有刚好上面这种情况的时候才会发生死锁。
这个问题我调了好久才找到原因,
解决方法却很简单,只要在获取队列数据的地方,改成获取不到数据的时候返回,而不是阻塞。这样就OK了:
四、添加控制界面
首先在界面上加入几个控制用的按钮:
之后绑定这些按钮到槽函数:
当然这个界面很丑,但毕竟功能都实现了,可以开心一小会儿了。
另外,这里我们只是简单的加了几个按钮,并没有给按钮做好基本的逻辑控制,比如暂停的时候暂停按钮应该隐藏,类似这样的。
这样的好处是可以随便点击按钮去虐我们的播放器,看他都存在哪些问题,再一步一步完善它。
完整工程下载地址:
http://download.csdn.net/detail/qq214517703/9631101
学习音视频技术欢迎访问 http://blog.yundiantech.com
音视频技术交流讨论欢迎加 QQ群 121376426
相关文章推荐
- 从零开始学习音视频编程技术(十) FFMPEG Qt视频播放器之播放控制
- 从零开始学习音视频编程技术(十) FFMPEG Qt视频播放器之播放控制
- 解密FFmpeg播放track mode控制
- 解密FFmpeg播放状态控制内幕
- 解密FFmpeg播放track mode控制
- 微信Android自动播放视频(可交互,设置层级,无控制条,非X5)ffmpeg,jsmpeg.js,.ts视频
- 解密FFmpeg播放track mode控制
- 解密FFmpeg播放状态控制内幕
- 解密FFmpeg播放track mode控制
- 解密FFmpeg播放状态控制内幕
- 解密FFmpeg播放track mode控制
- 解密FFmpeg播放track mode控制
- h5 audio 背景音乐播放开关控制
- 怎么在FLASH的场景中控制影片剪辑的播放和停止
- SDL和FFMPEG视频播放例子
- iOS 音视频高级编程:Audio Unit播放FFmpeg解码的音频
- 使用MediaPlayer播放本地音乐并控制音量
- iOS 音乐类App必备功能:后台播放、锁屏封面、远程播放控制
- 管理音频播放[Lesson 1 - 控制app的音量]
- bgsound控制声音播放