使用AudioTrack播放FFmpeg解码的PCM音频数据
开篇
在学习了《Android使用OpenGL渲染ffmpeg解码的YUV数据》一文之后,我们的播放器计划对于视频的处理暂时先告一段落。后面的几篇文章我们主要介绍ffmpeg解码音频并且搭配AudioTrack以及OpenSLES播放PCM原始音频数据。
音频解码
对于使用ffmpeg进行音视频的解码过程,我们来回忆一下这张图:
其实音频的解码和视频的解码差不多,同样要经过解封装,获取流索引、初始化解码器上下文、打开解码器、av_read_frame读取包数据、avcodec_send_packet发送到解码器进行解码、avcodec_receive_frame接收解码器数据,这几个过程。
不同的是,视频在avcodec_receive_frame接收到解码数据是YUV,需要经历YUV转换成RGB渲染出来。对于YUV不了解的同学,可参考一下这篇文章《Android使用ffmpeg解码视频为YUV》。
而对于音频则在avcodec_receive_frame接收到的解码数据是PCM原始声音数据,而一般PCM数据都是无法直接播放的,要按照播放的设备标准进行重采样之后生成新的PCM数据才能在特定的设备上播放。例如你解码出来的PCM数据是32位的,但是你的设备只支持16位,这就需要重采样了。又比如说你的设备只支持播放44100的采样率的,而你解码出来的PCM却不是44100的采样率,那也是需要重采样的,当然实际情况不止这两种,这就是重采样的意义所在。
对于音频的重采样主要使用的是ffmpeg的
swr_convert函数,重采样的主要代码:
.....省略若干代码 //准备音频重采样的参数 int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0); uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize); //音频重采样上下文初始化 SwrContext *actx = swr_alloc(); actx = swr_alloc_set_opts(actx, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_S16,44100, cc_ctx->channels, cc_ctx->sample_fmt,cc_ctx->sample_rate, 0,0 ); re = swr_init(actx); if(re != 0) { LOGE("swr_init failed:%s",av_err2str(re)); return re; } .....省略若干代码 //这里为什么要使用一个for循环呢? // 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的 //一个avcodec_send_packet可能会出发多个avcodec_receive_frame for (;;) { // 接受解码的数据 re = avcodec_receive_frame(cc_ctx, frame); if (re != 0) { break; } else { //音频重采样 int len = swr_convert(actx,&resampleOutBuffer, frame->nb_samples, (const uint8_t**)frame->data, frame->nb_samples); } }
使用AudioTrack播放PCM
对于AudioTrack如何使用还不了解的同学建议先自行谷歌学习一下,也就是几个简单的API,这里就不多做介绍了。
因为ffmpeg的解码是在JNI代码中执行的,所以我们直接在JNI通过反射调用Java的方法构造出AudioTrack对象,然后传递数据给AudioTrack对象即可实现播放。
JNI构建AudioTrack对象代码:
// JNI创建AudioTrack jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack"); jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"<init>","(IIIIII)V"); //构造 // public static final int STREAM_MUSIC = 3; int streamType = 3; int sampleRateInHz = 44100; // public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT); int channelConfig = (0x4 | 0x8); // public static final int ENCODING_PCM_16BIT = 2; int audioFormat = 2; // getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat) jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I"); int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat); // public static final int MODE_STREAM = 1; int mode = 1; //创建了AudioTrack jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode); //play方法 jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V"); env->CallVoidMethod(jAudioTrack,jPlayMid); // write method jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I");
AudioTrack构造好之后,我们在重采样PCM数据之后直接再通过JNI传递PCM数据到AudioTrack就可以播放了。
下面贴一下完整的代码:
extern "C" JNIEXPORT jint JNICALL Java_com_flyer_ffmpeg_FFmpegUtils_playAudio(JNIEnv *env, jclass clazz, jstring audio_path) { const char *path = env->GetStringUTFChars(audio_path, 0); AVFormatContext *fmt_ctx; // 初始化格式化上下文 fmt_ctx = avformat_alloc_context(); // 使用ffmpeg打开文件 int re = avformat_open_input(&fmt_ctx, path, nullptr, nullptr); if (re != 0) { LOGE("打开文件失败:%s", av_err2str(re)); return re; } //探测流索引 re = avformat_find_stream_info(fmt_ctx, nullptr); if (re < 0) { LOGE("索引探测失败:%s", av_err2str(re)); return re; } //寻找视频流索引 int audio_idx = av_find_best_stream( fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0); if (audio_idx == -1) { LOGE("获取音频流索引失败"); return -1; } //解码器参数 AVCodecParameters *c_par; //解码器上下文 AVCodecContext *cc_ctx; //声明一个解码器 const AVCodec *codec; c_par = fmt_ctx->streams[audio_idx]->codecpar; //通过id查找解码器 codec = avcodec_find_decoder(c_par->codec_id); if (!codec) { LOGE("查找解码器失败"); return -2; } //用参数c_par实例化编解码器上下文,,并打开编解码器 cc_ctx = avcodec_alloc_context3(codec); // 关联解码器上下文 re = avcodec_parameters_to_context(cc_ctx, c_par); if (re < 0) { LOGE("解码器上下文关联失败:%s", av_err2str(re)); return re; } //打开解码器 re = avcodec_open2(cc_ctx, codec, nullptr); if (re != 0) { LOGE("打开解码器失败:%s", av_err2str(re)); return re; } //数据包 AVPacket *pkt; //数据帧 AVFrame *frame; //初始化 pkt = av_packet_alloc(); frame = av_frame_alloc(); //音频重采样 int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0); uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize); //音频重采样上下文初始化 SwrContext *actx = swr_alloc(); actx = swr_alloc_set_opts(actx, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_S16,44100, cc_ctx->channels, cc_ctx->sample_fmt,cc_ctx->sample_rate, 0,0 ); re = swr_init(actx); if(re != 0) { LOGE("swr_init failed:%s",av_err2str(re)); return re; } // JNI创建AudioTrack jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack"); jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"<init>","(IIIIII)V"); //构造 // public static final int STREAM_MUSIC = 3; int streamType = 3; int sampleRateInHz = 44100; // public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT); int channelConfig = (0x4 | 0x8); // public static final int ENCODING_PCM_16BIT = 2; int audioFormat = 2; // getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat) jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I"); int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat); // public static final int MODE_STREAM = 1; int mode = 1; //创建了AudioTrack jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode); //play方法 jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V"); env->CallVoidMethod(jAudioTrack,jPlayMid); // write method jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I"); while (av_read_frame(fmt_ctx, pkt) >= 0) {//持续读帧 // 只解码音频流 if (pkt->stream_index == audio_idx) { //发送数据包到解码器 avcodec_send_packet(cc_ctx, pkt); //清理 av_packet_unref(pkt); //这里为什么要使用一个for循环呢? // 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的 //一个avcodec_send_packet可能会出发多个avcodec_receive_frame for (;;) { // 接受解码的数据 re = avcodec_receive_frame(cc_ctx, frame); if (re != 0) { break; } else { //音频重采样 int len = swr_convert(actx,&resampleOutBuffer, frame->nb_samples, (const uint8_t**)frame->data, frame->nb_samples); jbyteArray jPcmDataArray = env->NewByteArray(dataSize); // native 创建 c 数组 jbyte *jPcmData = env->GetByteArrayElements(jPcmDataArray, NULL); //内存拷贝 memcpy(jPcmData, resampleOutBuffer, dataSize); // 同步刷新到 jbyteArray ,并释放 C/C++ 数组 env->ReleaseByteArrayElements(jPcmDataArray, jPcmData, 0); LOGE("解码成功%d dataSize:%d ",len,dataSize); // 写入播放数据 env->CallIntMethod(jAudioTrack, jAudioTrackWriteMid, jPcmDataArray, 0, dataSize); // 解除 jPcmDataArray 的持有,让 javaGC 回收 env->DeleteLocalRef(jPcmDataArray); } } } } //关闭环境 avcodec_free_context(&cc_ctx); // 释放资源 av_frame_free(&frame); av_packet_free(&pkt); avformat_free_context(fmt_ctx); LOGE("音频播放完毕"); env->ReleaseStringUTFChars(audio_path, path); return 0; }
结束
最后如果你对音视频开发感兴趣可扫码关注,笔者在各个知识点学习完毕之后也会使用ffmepg从零开始编写一个多媒体播放器,包括本地播放及网络流播放等等。欢迎关注,后续我们共同探讨,共同进步。
- 点赞
- 收藏
- 分享
- 文章举报
- Android开发:使用AudioTrack播放PCM音频数据【附源码】
- 【Android 多媒体应用】使用MediaCodec解码使用AudioTrack播放音频数据
- 使用AudioTrack播放PCM音频数据(android)
- 使用AudioTrack播放PCM音频数据
- 使用AudioTrack播放PCM音频数据(android)
- Android使用AudioRecord录制pcm音频原始数据以及使用AudioTrack播放
- Android开发:使用AudioTrack播放PCM音频数据【附源码】
- [AudioTrack]使用AudioTrack播放PCM音频数据
- 使用AudioTrack播放PCM音频数据
- 使用AudioTrack播放PCM音频数据(android)
- Android编程中利用AudioTrack播放PCM数据在音频的最后出现重复回声现象的解决方案
- FFMPEG 之音频解码及AudioTrack播放音频
- 使用AudioRecoder录制,AudioTrack播放PCM音频数据
- FFMPEG学习----使用SDL播放PCM数据
- iOS 音视频高级编程:Audio Unit播放FFmpeg解码的音频
- android中pcm数据的播放(AudioTrack)
- iOS 音视频开发:Audio Unit播放FFmpeg解码的音频
- [置顶] 《android多媒体api》之AudioTrack原始音频pcm播放api
- Android音频: 怎样使用AudioTrack播放一个WAV格式文件?
- 【FFmpeg杂记】音频解码输出PCM格式数据分析