Gstreamer的音视频同步

一 概述

Gstreamer的音频视频同步，概括起来是一个比较大的问题，因为在网上可以看到很多音视频同步的办法。这里我们只看最普通的一种。以音频时钟做为参考时钟(要求参考时钟上的时间是线性递增的)；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)；在播放时，读取数据上的时间戳，同时参考当前参考时钟上的时间来安排播放(如果数据块上的时间大于参考时钟的时间，则不急于播放，直到参考时钟达到数据块的开始时间；如果数据块上的时间小于参考时钟的时间，则应"尽快"播放或者干脆"丢弃"该数据块，以使得播放赶上播放进度。)

Gstreamer的因视频分离器如下图：

demux element将音频，视频分离后，给各自的解码器进行解码播放。

+-----------+
|   Audio   |
+--|           |
/   +-----------+
+----------+ /
|  demux   |/
|          |\
+----------+ \
\   +-----------+
+--|   Video   |
|           |
+-----------+

二 提供时钟

默认情况下，是有AudioSink来提供参考时钟的。下面开始代码之旅。

/* gst-plugins-base-0.10.32/gst-libs/gst/audio/gstbaseaudiosink.c */
/*默认的情况下是由这个element来提供clock的。*/
#define DEFAULT_PROVIDE_CLOCK   TRUE

static void
gst_base_audio_sink_init (GstBaseAudioSink * baseaudiosink,
GstBaseAudioSinkClass * g_class)
{
baseaudiosink->provide_clock = DEFAULT_PROVIDE_CLOCK
/* 这里在clock类里面新建了一个时钟 */
baseaudiosink->provided_clock = gst_audio_clock_new ("GstAudioSinkClock",
(GstAudioClockGetTimeFunc) gst_base_audio_sink_get_time, baseaudiosink);
}

/*
* 查询是否 @sink 将提供 clock
*/
gboolean
gst_base_audio_sink_get_provide_clock (GstBaseAudioSink * sink)
{
gboolean result;
result = sink->provide_clock;
return result;
}

/* 查询clock的时间
* 如果将这里的返回结果变慢，那么视频播放就会变慢。当然视频很音频就不同步了。
*/
static GstClockTime
gst_base_audio_sink_get_time (GstClock * clock, GstBaseAudioSink * sink)
{
result = gst_util_uint64_scale_int (samples, GST_SECOND,
sink->ringbuffer->spec.rate);
return result;
}

三 视频如何同步？

以我实验的视频为例，视频使用的是xvimagesink element它的继承关系如下

GObject
+----GstObject
+----GstElement
+----GstBaseSink
+----GstVideoSink
+----GstXvImageSink

从element的chain func开始(PS: 为什么从chain开始，参考[Gstreamer初见]).

/*
* gst-plugins-base/sys/xvimage/xvimagesink.c
* gst-plugins-base/gst-libs/gst/video/gstvideosink.c
* 这两个文件里都没有chain函数.
* 在gstreamer-0.10.32/libs/gst/base/gstbasesink.c中 chain函数为
*/
static GstFlowReturn
gst_base_sink_chain (GstPad * pad, GstBuffer * buf)
{
basesink = GST_BASE_SINK (GST_OBJECT_PARENT (pad));

return gst_base_sink_chain_main (basesink, pad, _PR_IS_BUFFER, buf);
}

static GstFlowReturn
gst_base_sink_chain_main (GstBaseSink * basesink, GstPad * pad,
guint8 obj_type, gpointer obj)
{
result = gst_base_sink_chain_unlocked (basesink, pad, obj_type, obj);
}

static GstFlowReturn
gst_base_sink_chain_unlocked (GstBaseSink * basesink, GstPad * pad,
guint8 obj_type, gpointer obj)
{
result = gst_base_sink_queue_object_unlocked (basesink, pad,
obj_type, obj, TRUE);
}

static GstFlowReturn
gst_base_sink_queue_object_unlocked (GstBaseSink * basesink, GstPad * pad,
guint8 obj_type, gpointer obj, gboolean prerollable)
{
while (G_UNLIKELY (!g_queue_is_empty (q))) {
ret = gst_base_sink_render_object (basesink, pad, ot, o);
}
}

/* gstreamer-0.10.32/libs/gst/base/gstbasesink.c */
static GstFlowReturn
gst_base_sink_render_object (GstBaseSink * basesink, GstPad * pad,
guint8 obj_type, gpointer obj)
{
/* 这里开始做同步，同步成功后，才开始播放 */
ret =
gst_base_sink_do_sync (basesink, pad, sync_obj, &late, &step_end,
obj_type);
if (G_UNLIKELY (ret != GST_FLOW_OK))
goto sync_failed;

if (!OBJ_IS_BUFFERLIST (obj_type)) {
ret = bclass->render (basesink, buf);
} else {
ret = bclass->render_list (basesink, buflist);
}
}

static GstFlowReturn
gst_base_sink_do_sync (GstBaseSink * basesink, GstPad * pad,
GstMiniObject * obj, gboolean * late, gboolean * step_end, guint8 obj_type)
{
status = gst_base_sink_wait_clock (basesink, stime, &jitter);
return GST_FLOW_OK;
}

/*
* @time: the running_time to be reached
* @jitter: (out) (allow-none): the jitter to be filled with time diff, or NULL
*
* This function will block until @time is reached. It is usually called by
* subclasses that use their own internal synchronisation.
*/
GstClockReturn
gst_base_sink_wait_clock (GstBaseSink * sink, GstClockTime time,
GstClockTimeDiff * jitter)
{
if (G_UNLIKELY ((clock = GST_ELEMENT_CLOCK (sink)) == NULL))
goto no_clock;

base_time = GST_ELEMENT_CAST (sink)->base_time;

sink->priv->cached_clock_id = gst_clock_new_single_shot_id (clock, time);

/* 这里一直等待到时间 */
ret = gst_clock_id_wait (sink->priv->cached_clock_id, jitter);

return ret;
}

这里同步完成，其实这里还有最后一个小问题，那么就是AudioClock是以什么为时钟的呢。其实就是以声卡的时钟为时钟的。因为声卡有时钟同步功能。所以我们计算一同播放了多少个sample，就可以计算出当前播放了多长的时间。 So.

END