FFmpeg+SDL视频播放(4)

创建线程

综述

前面我们利用SDL的音频函数实现了对音频解码和播放的支持，我们定义一个包含音频回调函数callbacks的线程函数，当我们需要音频的时候就使SDL启动这个线程。现在我们将要对视频播放做同样的事情，这样能使代码更容易模块化和协作，尤其有利于音视频同步，那么我们从哪里开始呢？

首先注意到，我们的主函数需要做太多的事情：运行event循环，读packet，解码视频，我们需要做的就是把各个部分分开，创建一个线程负责解码出packets，并把音频、视频的packet放到各自的队列中，并由相应的音频、视频处理线程读取，我们已经创建了所需要的音频线程，视频处理线程会有点复杂，因为我们需要自己来播放视频数据（音频由SDL来播放）。我们会在主循环中添加我们的播放代码，但是我们要把视频播放与事件驱动循环结合起来，而不是仅仅在主循环中播放，这就意味着我们先对视频解码，把解码生成的视频帧放在另外一个队列中，然后创建一个常规事件(FF_REFRESH_EVENT)并加到事件驱动系统，每当事件驱动循环遇到这个事件(FF_REFRESH_EVENT)就播放下一帧，下面是上述功能的一个手绘的字符图示。

[plain] view
plaincopyprint?

________ audio _______ _____

| | pkts | | | | to spkr

| DECODE |----->| AUDIO |--->| SDL |-->

|________| |_______| |_____|

| video _______

| pkts | |

+---------->| VIDEO |

________ |_______| _______

| | | | |

| EVENT | +------>| VIDEO | to mon.

| LOOP |----------------->| DISP. |-->

|_______|<---FF_REFRESH----|_______|

使用SDL的SDL_Delay线程，能够精确控制下一个视频帧的播放时间，这就是我们把对视频播放的控制与事件驱动循环结合起来的主要原因，当我们在下一章最终讲音视频同步时，对于在正确的时间刷新正确的图片，添加这部分代码将不再是难事。

简化代码

我们需要对代码做一些修剪，我们拥有所有音频和视频编解码信息，还需要添加队列和buffer和其他一些东西，所有这些东西都为一个逻辑单元服务–电影，所以我们应该创建一个大的结构体把所有这些信息都包括进去，命名为VideoState。

[cpp] view
plaincopyprint?

typedef struct VideoState
{

***FormatContext *pFormatCtx;

int videoStream, audioStream;

***Stream *audio_st;

PacketQueue audioq;

uint8_t audio_buf[(***CODEC_MAX_AUDIO_FRAME_SIZE * 3) / 2];

unsigned int audio_buf_size;

unsigned int audio_buf_index;

***Packet audio_pkt;

uint8_t *audio_pkt_data;

int audio_pkt_size;

***Stream *video_st;

PacketQueue videoq;

VideoPicture pictq[VIDEO_PICTURE_QUEUE_SIZE];

int pictq_size, pictq_rindex,
pictq_windex;

SDL_mutex *pictq_mutex;

SDL_cond *pictq_cond;

SDL_Thread *parse_tid;

SDL_Thread *video_tid;

char filename[1024];

int quit;

} VideoState;

我们先大致看一下这一个结构体：基本信息***FormatContext *pFormatCtx;音视频流指数及其相应的***Stream实体，把与音频有关的audio_buffer、audio_buffer_size等这些buffer也放到这个结构体中，为视频也创建一个队列和buffer（用来存放解码后的视频帧，而不需要一个真正的队列来存放），VideoPicture
struct 是我们自己创建的结构体，当用到时会对它进行分析，为我们创建的两个线程分别分配指针，quit标志，还有电影文件名。现在我们回到主函数中看看这些能使程序发生哪些变化，首先初始化VideoState结构体：

[cpp] view
plaincopyprint?

int main(int argc, char *argv[])
{

SDL_Event event;

VideoState *is;

is = av_mallocz(sizeof(VideoState));

av_mallocz()是一个很好的函数，它为我们分配内存并将其内容清零。
然后初始化display buffer (pictq)的互斥锁，因为事件驱动循环要调用播放函数，从display buffer(pictq)中取出已解码的数据帧，同时视频解码函数要将其生成的数据帧放入display buffer (pictq)，两者就会产生冲突，这是一个典型的竞争情况，我们要在启动任一线程之前定义为其分配互斥锁，另外把电影名拷贝到VideoState。

[cpp] view
plaincopyprint?

pstrcpy(is->filename, sizeof(is->filename),
argv[1]);

is->pictq_mutex = SDL_CreateMutex();

is->pictq_cond = SDL_CreateCond();

pstrcpy()是FFmpeg中的函数，和strncpy相比，它提供额外的边界检查。

第一个线程

现在我们终于可以创建线程，并可以做一些实际的工作。

[cpp] view
plaincopyprint?

schedule_refresh(is, 40);

is->parse_tid = SDL_CreateThread(decode_thread, is);

if(!is->parse_tid) {

av_free(is);

return -1;

}

schedule_refresh()函数将在稍后定义，它完成的功能是每隔一定数目的毫秒数向系统发送一个FF_REFRESH_EVENT 事件驱动，从而调用事件驱动循环中的视频刷新函数，现在先来看一下SDL_CreatThread()函数，它创建一个线程运行在给定的函数，并能向此函数传递用户定义数据，此线程对所在进程的内存区域具有完全的访问权，我们就用这种方式调用decode_thread()和传递VideoState，这个函数的前半部分没有什么新鲜的东西，只是打开文件，找到音频、视频流，唯一不同的地方是要把format_context保存到VideoState中，再找到音频、视频流位置后，就调用另外一个我们将要定义的函数stream_component_open()使用这种方法将程序分开非常自然，由于对音视频的解码初始化功能相似，将其放到一个函数中能节省很多代码。

在stream_component_open()函数中，我们找到codec、decoder初始化音频选项、保存重要信息到VideoState中，启动音频、视频、线程，我们也可以在此添加选项，使其能够指定编解码器而不是自动探测，等等，下面是函数的内容：

[cpp] view
plaincopyprint?

int stream_component_open(VideoState
*is, int stream_index) {

***FormatContext *pFormatCtx = is->pFormatCtx;

***CodecContext *codecCtx;

***Codec *codec;

SDL_AudioSpec wanted_spec, spec;

if(stream_index < 0 || stream_index
>= pFormatCtx->nb_streams) {

return -1;

}

// Get a pointer to the codec context for the video stream

codecCtx = pFormatCtx->streams[stream_index]->codec;

if(codecCtx->codec_type ==
CODEC_TYPE_AUDIO) {

// Set audio settings from codec info

wanted_spec.freq = codecCtx->sample_rate;

wanted_spec.callback = audio_callback;

wanted_spec.userdata = is;

if(SDL_OpenAudio(&wanted_spec,
&spec) < 0) {

fprintf(stderr, "SDL_OpenAudio: %s\n",
SDL_GetError());

return -1;

}

}

codec = avcodec_find_decoder(codecCtx->codec_id);

if(!codec || (avcodec_open(codecCtx,
codec) < 0)) {

fprintf(stderr, "Unsupported codec!\n");

return -1;

}

switch(codecCtx->codec_type)
{

case CODEC_TYPE_AUDIO:

is->audioStream = stream_index;

is->audio_st = pFormatCtx->streams[stream_index];

is->audio_buf_size = 0;

is->audio_buf_index = 0;

memset(&is->audio_pkt, 0, sizeof(is->audio_pkt));

packet_queue_init(&is->audioq);

SDL_PauseAudio(0);

break;

case CODEC_TYPE_VIDEO:

is->videoStream = stream_index;

is->video_st = pFormatCtx->streams[stream_index];

packet_queue_init(&is->videoq);

is->video_tid = SDL_CreateThread(video_thread, is);

break;

default:

break;

}

}

这些代码和前面讲的基本上一样，只不过我们将对音频和视频的处理结合在了一起，值得注意的是我们将大的结构体VideoState作为audio callback的参数，而不是原来的CodecCtx，并把音频、视频流分别保存到了audio_st和video_st，同样，我们创建了视频队列并和音频队列一样初始化，然而最重要的是启动音频和视频处理线程：

[cpp] view
plaincopyprint?

SDL_PauseAudio(0);

break;

is->video_tid = SDL_CreateThread(video_thread, is);

首先回来看一下decode_thread()函数的后半部分，它基本上是一个for循环，主要完成读取一个packet然 后将其添加到对应的队列中。

[cpp] view
plaincopyprint?

for(;;) {

if(is->quit) {

break;

}

// seek stuff goes here

if(is->audioq.size > MAX_AUDIOQ_SIZE
||

is->videoq.size > MAX_VIDEOQ_SIZE) {

SDL_Delay(10);

continue;

}

if(av_read_frame(is->pFormatCtx,
packet) < 0) {

if(url_ferror(&pFormatCtx->pb)
== 0) {

SDL_Delay(100);

continue;

} else {

break;

}

}

// Is this a packet from the video stream?

if(packet->stream_index ==
is->videoStream) {

packet_queue_put(&is->videoq, packet);

} else if(packet->stream_index
== is->audioStream) {

packet_queue_put(&is->audioq, packet);

} else {

av_free_packet(packet);

}

}

这里没有什么新东西，除了我们给音频和视频队列限定了一个最大值并且我们添加一个检测读错误的函数。格式上下文里面有一个叫做pb的 ByteIOContext类型结构体。这个结构体是用来保存一些低级的文件信息。函数url_ferror用来检测结构体并发现是否有些读取文件错误。

在循环以后，我们的代码是用等待其余的程序结束和提示我们已经结束的。这些代码是有益的，因为它指示出了如何驱动事件－－后面我们将显示影像。

[cpp] view
plaincopyprint?

while(!is->quit) {

SDL_Delay(100);

}

fail:

if(1){

SDL_Event event;

event.type = FF_QUIT_EVENT;

event.user.data1 = is;

SDL_PushEvent(&event);

}

return 0;

我们使用SDL常量SDL_USEREVENT来从用户事件中得到值。第一个用户事件的值应当是SDL_USEREVENT，下一个是 SDL_USEREVENT＋1并且依此类推。在我们的程序中FF_QUIT_EVENT被定义成SDL_USEREVENT＋2。如果喜欢，我们也可以传递用户数据，在这里我们传递的是大结构体的指针。最后我们调用SDL_PushEvent()函数。在我们的事件分支中，我们只是像以前放入
SDL_QUIT_EVENT部分一样。我们将在自己的事件队列中详细讨论，现在只是确保我们正确放入了FF_QUIT_EVENT事件，我们将在后面捕捉到它并且设置我们的退出标志quit。

获取视频帧：video_thread

当我们准备好解码器后，我们开始视频线程。这个线程从视频队列中读取包，把它解码成视频帧，然后调用queue_picture函数把处理好的帧放入到图片队列中:

[cpp] view
plaincopyprint?

int video_thread(void *arg)
{

VideoState *is = (VideoState *)arg;

***Packet pkt1, *packet = &pkt1;

int len1, frameFinished;

***Frame *pFrame;

pFrame = avcodec_alloc_frame();

for(;;) {

if(packet_queue_get(&is->videoq,
packet, 1) < 0) {

// means we quit getting packets

break;

}

// Decode video frame

len1 = avcodec_decode_video(is->video_st->codec, pFrame, &frameFinished,

packet->data, packet->size);

// Did we get a video frame?

if(frameFinished) {

if(queue_picture(is, pFrame)
< 0) {

break;

}

}

av_free_packet(packet);

}

av_free(pFrame);

return 0;

}

在这里的很多函数应该很熟悉吧。我们把avcodec_decode_video函数移到了这里，替换了一些参数，例如：我们把***Stream保存在我 们自己的大结构体中，所以我们可以从那里得到编解码器的信息。我们仅仅是不断的从视频队列中取包一直到有人告诉我们要停止或者出错为止。

队列化帧

让我们看一下保存解码后的帧pFrame到图像队列中去的函数。因为我们的图像队列是SDL的覆盖的集合（基本上不用让视频显示函数再做计算了），我们需要把帧转换成相应的格式。我们保存到图像队列中的数据是我们自己做的一个结构体。

[cpp] view
plaincopyprint?

typedef struct VideoPicture
{

SDL_Overlay *bmp;

int width, height;

int allocated;

} VideoPicture;

我们的大结构体有一个可以保存这些缓冲区。然而，我们需要自己来申请SDL_Overlay（注意：allocated标志会指明我们是否已经做了这个申请的动作与否）。

为了使用这个队列，我们有两个指针－－写入指针和读取指针。我们也要保证一定数量的实际数据在缓冲中。要写入到队列中，我们先要等待缓冲清空以便于有位置来保存我们的VideoPicture。然后我们检查看我们是否已经申请到了一个可以写入覆盖的索引号。如果没有，我们要申请一段空间。我们也要重新申请缓冲如果窗口的大小已经改变。然而，为了避免被锁定，尽是避免在这里申请（我现在还不太清楚原因；我相信是为了避免在其它线程中调用SDL覆盖函数的原因）。

[cpp] view
plaincopyprint?

int queue_picture(VideoState
*is, ***Frame *pFrame) {

VideoPicture *vp;

int dst_pix_fmt;

***Picture pict;

SDL_LockMutex(is->pictq_mutex);

while(is->pictq_size >= VIDEO_PICTURE_QUEUE_SIZE
&&

!is->quit) {

SDL_CondWait(is->pictq_cond, is->pictq_mutex);

}

SDL_UnlockMutex(is->pictq_mutex);

if(is->quit)

return -1;

// windex is set to 0 initially

vp = &is->pictq[is->pictq_windex];

if(!vp->bmp ||

vp->width != is->video_st->codec->width ||

vp->height != is->video_st->codec->height) {

SDL_Event event;

vp->allocated = 0;

event.type = FF_ALLOC_EVENT;

event.user.data1 = is;

SDL_PushEvent(&event);

SDL_LockMutex(is->pictq_mutex);

while(!vp->allocated && !is->quit)
{

SDL_CondWait(is->pictq_cond, is->pictq_mutex);

}

SDL_UnlockMutex(is->pictq_mutex);

if(is->quit) {

return -1;

}

}

这里的事件机制与前面我们想要退出的时候看到的一样。我们已经定义了事件FF_ALLOC_EVENT作为SDL_USEREVENT。我们把事件发到事件队列中然后等待申请内存的函数设置好条件变量。

让我们来看一看如何来修改事件循环：

[cpp] view
plaincopyprint?

for(;;) {

SDL_WaitEvent(&event);

switch(event.type) {

case FF_ALLOC_EVENT:

alloc_picture(event.user.data1);

break;

记住event.user.data1是我们的大结构体。就这么简单。让我们看一下alloc_picture()函数：

[cpp] view
plaincopyprint?

void alloc_picture(void *userdata)
{

VideoState *is = (VideoState *)userdata;

VideoPicture *vp;

vp = &is->pictq[is->pictq_windex];

if(vp->bmp) {

// we already have one make another, bigger/smaller

SDL_FreeYUVOverlay(vp->bmp);

}

// Allocate a place to put our YUV image on that screen

vp->bmp = SDL_CreateYUVOverlay(is->video_st->codec->width,

is->video_st->codec->height,

SDL_YV12_OVERLAY,

screen);

vp->width = is->video_st->codec->width;

vp->height = is->video_st->codec->height;

SDL_LockMutex(is->pictq_mutex);

vp->allocated = 1;

SDL_CondSignal(is->pictq_cond);

SDL_UnlockMutex(is->pictq_mutex);

}

你可以看到我们把SDL_CreateYUVOverlay函数从主循环中移到了这里。这段代码应该完全可以自我注释。记住我们把高度和宽度保存到VideoPicture结构体中因为我们需要保存我们的视频的大小没有因为某些原因而改变。

好，我们几乎已经全部解决并且可以申请到YUV覆盖和准备好接收图像。让我们回顾一下queue_picture并看一个拷贝帧到覆盖的代码。你应该能认出其中的一部分：

[cpp] view
plaincopyprint?

int queue_picture(VideoState
*is, ***Frame *pFrame) {

if(vp->bmp) {

SDL_LockYUVOverlay(vp->bmp);

dst_pix_fmt = PIX_FMT_YUV420P;

pict.data[0] = vp->bmp->pixels[0];

pict.data[1] = vp->bmp->pixels[2];

pict.data[2] = vp->bmp->pixels[1];

pict.linesize[0] = vp->bmp->pitches[0];

pict.linesize[1] = vp->bmp->pitches[2];

pict.linesize[2] = vp->bmp->pitches[1];

// Convert the image into YUV format that SDL uses

img_convert(&pict, dst_pix_fmt,

(***Picture *)pFrame, is->video_st->codec->pix_fmt,

is->video_st->codec->width, is->video_st->codec->height);

SDL_UnlockYUVOverlay(vp->bmp);

if(++is->pictq_windex == VIDEO_PICTURE_QUEUE_SIZE)
{

is->pictq_windex = 0;

}

SDL_LockMutex(is->pictq_mutex);

is->pictq_size++;

SDL_UnlockMutex(is->pictq_mutex);

}

return 0;

}

这部分代码和前面用到的一样，主要是简单的用我们的帧来填充YUV覆盖。最后一点只是简单的给队列加1。这个队列在写的时候会一直写入到满为止，在读的时候会一直读空为止。因此所有的都依赖于is->pictq_size值，这要求我们必需要锁定它。这里我们做的是增加写指针（在必要的时候采用轮转的方式），然后锁定队列并且增加尺寸。现在我们的读者函数将会知道队列中有了更多的信息，当队列满的时候，我们的写入函数也会知道。

显示视频

这就是我们的视频线程。现在我们看过了几乎所有的线程除了一个－－记得我们调用schedule_refresh()函数吗？让我们看一下实际中是如何做的：

[cpp] view
plaincopyprint?

static void schedule_refresh(VideoState
*is, int delay) {

SDL_AddTimer(delay, sdl_refresh_timer_cb, is);

}

函数SDL_AddTimer()是SDL中的一个定时（特定的毫秒）执行用户定义的回调函数（可以带一些参数user
data）的简单函数。我们将用这个函数来定时刷新视频－－每次我们调用这个函数的时候，它将设置一个定时器来触发定时事件来把一帧从图像队列中显示到屏幕上。

但是，让我们先触发那个事件。

[cpp] view
plaincopyprint?

static Uint32 sdl_refresh_timer_cb(Uint32
interval, void *opaque) {

SDL_Event event;

event.type = FF_REFRESH_EVENT;

event.user.data1 = opaque;

SDL_PushEvent(&event);

return 0;

}

这里向队列中写入了一个现在很熟悉的事件。FF_REFRESH_EVENT被定义成SDL_USEREVENT+1。要注意的一件事是当返回0的时候，SDL停止定时器，于是回调就不会再发生。

现在我们产生了一个FF_REFRESH_EVENT事件，我们需要在事件循环中处理它：

[cpp] view
plaincopyprint?

for(;;) {

SDL_WaitEvent(&event);

switch(event.type) {

case FF_REFRESH_EVENT:

video_refresh_timer(event.user.data1);

break;

于是我们就运行到了这个函数，在这个函数中会把数据从图像队列中取出：

[cpp] view
plaincopyprint?

void video_refresh_timer(void *userdata)
{

VideoState *is = (VideoState *)userdata;

VideoPicture *vp;

if(is->video_st) {

if(is->pictq_size == 0) {

schedule_refresh(is, 1);

} else {

vp = &is->pictq[is->pictq_rindex];

schedule_refresh(is, 80);

video_display(is);

if(++is->pictq_rindex == VIDEO_PICTURE_QUEUE_SIZE)
{

is->pictq_rindex = 0;

}

SDL_LockMutex(is->pictq_mutex);

is->pictq_size--;

SDL_CondSignal(is->pictq_cond);

SDL_UnlockMutex(is->pictq_mutex);

}

} else {

schedule_refresh(is, 100);

}

}

现在，这只是一个极其简单的函数：当队列中有数据的时候，他从其中获得数据，为下一帧设置定时器，调用video_display函数来真正显示图像到屏幕上，然后把队列读索引值加1，并且把队列的尺寸size减1。你可能会注意到在这个函数中我们并没有真正对vp做一些实际的动作，原因是这样的：我们将在后面处理。我们将在后面同步音频和视频的时候用它来访问时间信息。你会在这里看到这个注释信息”timing密码here”。那里我们将讨论什么时候显示下一帧视频，然后把相应的值写入到schedule_refresh()函数中。现在我们只是随便写入一个值80。从技术上来讲，你可以猜测并验证这个值，并且为每个电影重新编译程序，但是：1）过一段时间它会漂移；2）这种方式是很笨的。我们将在后面来讨论它。

我们快完成了，只需要再做一件事：显示视频。下面是显示视频的函数:

[cpp] view
plaincopyprint?

void video_display(VideoState
*is) {

SDL_Rect rect;

VideoPicture *vp;

***Picture pict;

float aspect_ratio;

int w, h, x, y;

int i;

vp = &is->pictq[is->pictq_rindex];

if(vp->bmp) {

if(is->video_st->codec->sample_aspect_ratio.num
== 0) {

aspect_ratio = 0;

} else {

aspect_ratio = av_q2d(is->video_st->codec->sample_aspect_ratio) *

is->video_st->codec->width / is->video_st->codec->height;

}

if(aspect_ratio <= 0.0) {

aspect_ratio = (float)is->video_st->codec->width
/

(float)is->video_st->codec->height;

}

h = screen->h;

w = ((int)rint(h * aspect_ratio))
& -3;

if(w > screen->w) {

w = screen->w;

h = ((int)rint(w / aspect_ratio))
& -3;

}

x = (screen->w - w) / 2;

y = (screen->h - h) / 2;

rect.x = x;

rect.y = y;

rect.w = w;

rect.h = h;

SDL_DisplayYUVOverlay(vp->bmp, &rect);

}

}

显示尺寸可以是任意大小（代码中我们设置的尺寸是640x480，可以让用户随意的改变它的大小。），我们需要动态的改变视频框的大小。首先我们需要知道视频的宽高比，也就是视频宽度除以视频高度得到的比值。有些解码器会得到个奇怪的宽高比，它是简单的宽高分辨率的比值。有些解码器显示的宽高比值为0，这表示每个像素仅仅是尺寸1x1。这时，我们可以缩放视频大小到屏幕大小。 与 -3 进行与操作（即&－3，见上面代码），最接近4的倍数，接着，我们把电影显示在屏幕中间，调用SDL_DisplayYUVOverlay()函数进行显示.

就是这样吗？我们全完成了吗？ 呵呵，我们还需要使用新的VideoStruct结构体，重写音频解码。但这不需要太大的改动，你可以看下面的代码。我们最后还需要做的事是修改ffmpeg的内部"quit"回调函数。

[cpp] view
plaincopyprint?

VideoState *global_video_state;

int decode_interrupt_cb(void)
{

return (global_video_state
&& global_video_state->quit);

}

我们把global_video_state变量设置到main函数这个大的结构体中。

完成了，下面我们开始编译它吧。

[cpp] view
plaincopyprint?

gcc -o tutorial04 tutorial04.c -lavutil -lavformat -lavcodec -lz -lm \

`sdl-config --cflags --libs`

and enjoy your unsynced movie! Next time we'll finally build a video player that actually works!

享受这个音视频不同步的电影吧！下回我们最终要设计一个真正可以正常工作的视频播放器。