Android用surface直接显示yuv数据（三）

本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据（yv12），开发环境为Android 4.4，全志A23平台。

package com.example.myyuvviewer;

import java.io.File;
import java.io.FileInputStream;
import android.app.Activity;
import android.os.Bundle;
import android.os.Environment;
import android.util.Log;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceHolder.Callback;
import android.view.SurfaceView;

public class MainActivity extends Activity {

final private String TAG = "MyYUVViewer";
final private String FILE_NAME = "yuv_320_240.yuv";
private int width = 320;
private int height = 240;
private int size = width * height * 3/2;

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
nativeTest();
SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView);
SurfaceHolder holder = surfaceview.getHolder();
holder.addCallback(new Callback(){

@Override
public void surfaceCreated(SurfaceHolder holder) {
// TODO Auto-generated method stub
Log.d(TAG,"surfaceCreated");
byte[]yuvArray = new byte[size];
readYUVFile(yuvArray, FILE_NAME);
nativeSetVideoSurface(holder.getSurface());
nativeShowYUV(yuvArray,width,height);
}

@Override
public void surfaceChanged(SurfaceHolder holder, int format,
int width, int height) {
// TODO Auto-generated method stub

}

@Override
public void surfaceDestroyed(SurfaceHolder holder) {
// TODO Auto-generated method stub

}});
}

private boolean readYUVFile(byte[] yuvArray,String filename){
try {
// 如果手机插入了SD卡，而且应用程序具有访问SD的权限
if (Environment.getExternalStorageState().equals(
Environment.MEDIA_MOUNTED)) {
// 获取SD卡对应的存储目录
File sdCardDir = Environment.getExternalStorageDirectory();
// 获取指定文件对应的输入流
FileInputStream fis = new FileInputStream(
sdCardDir.getCanonicalPath() +"/" + filename);
fis.read(yuvArray, 0, size);
fis.close();
return true;
} else {
return false;
}
}catch (Exception e) {
e.printStackTrace();
return false;
}
}
private native void nativeTest();
private native boolean nativeSetVideoSurface(Surface surface);
private native void nativeShowYUV(byte[] yuvArray,int width,int height);
static {
System.loadLibrary("showYUV");
}
}

activity_main.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
android:orientation="vertical" >

<SurfaceView
android:id="@+id/surfaceView"
android:layout_width="fill_parent"
android:layout_height="360dp" />

</LinearLayout>

JNI层，showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.

#include <jni.h>
#include <android_runtime/AndroidRuntime.h>
#include <android_runtime/android_view_Surface.h>
#include <gui/Surface.h>
#include <assert.h>
#include <utils/Log.h>
#include <JNIHelp.h>
#include <media/stagefright/foundation/ADebug.h>
#include <ui/GraphicBufferMapper.h>
#include <cutils/properties.h>
using namespace android;

static sp<Surface> surface;

static int ALIGN(int x, int y) {
// y must be a power of 2.
return (x + y - 1) & ~(y - 1);
}

static void render(
const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) {
ALOGE("[%s]%d",__FILE__,__LINE__);
sp<ANativeWindow> mNativeWindow = nativeWindow;
int err;
int mCropWidth = width;
int mCropHeight = height;

int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间
int bufWidth = (mCropWidth + 1) & ~1;//按2对齐
int bufHeight = (mCropHeight + 1) & ~1;

CHECK_EQ(0,
native_window_set_usage(
mNativeWindow.get(),
GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN
| GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP));

CHECK_EQ(0,
native_window_set_scaling_mode(
mNativeWindow.get(),
NATIVE_WINDOW_SCALING_MODE_SCALE_CROP));

// Width must be multiple of 32???
//很重要,配置宽高和和指定颜色空间yuv420
//如果这里不配置好，下面deque_buffer只能去申请一个默认宽高的图形缓冲区
CHECK_EQ(0, native_window_set_buffers_geometry(
mNativeWindow.get(),
bufWidth,
bufHeight,
halFormat));

ANativeWindowBuffer *buf;//描述buffer
//申请一块空闲的图形缓冲区
if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(),
&buf)) != 0) {
ALOGW("Surface::dequeueBuffer returned error %d", err);
return;
}

GraphicBufferMapper &mapper = GraphicBufferMapper::get();

Rect bounds(mCropWidth, mCropHeight);

void *dst;
CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程
buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址

if (true){
size_t dst_y_size = buf->stride * buf->height;
size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小
size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小

memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区
}

CHECK_EQ(0, mapper.unlock(buf->handle));

if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf,
-1)) != 0) {
ALOGW("Surface::queueBuffer returned error %d", err);
}
buf = NULL;
}

static void nativeTest(){
ALOGE("[%s]%d",__FILE__,__LINE__);
}

static jboolean
nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){
ALOGE("[%s]%d",__FILE__,__LINE__);
surface = android_view_Surface_getSurface(env, jsurface);
if(android::Surface::isValid(surface)){
ALOGE("surface is valid ");
}else {
ALOGE("surface is invalid ");
return false;
}
ALOGE("[%s][%d]\n",__FILE__,__LINE__);
return true;
}
static void
nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){
ALOGE("width = %d,height = %d",width,height);
jint len = env->GetArrayLength(yuvData);
ALOGE("len = %d",len);
jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0);
render(byteBuf,len,surface,width,height);
}
static JNINativeMethod gMethods[] = {
{"nativeTest",                  "()V",                              (void *)nativeTest},
{"nativeSetVideoSurface",       "(Landroid/view/Surface;)Z",        (void *)nativeSetVideoSurface},
{"nativeShowYUV",               "([BII)V",                          (void *)nativeShowYUV},
};

static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity";

// This function only registers the native methods
static int register_com_example_myyuvviewer(JNIEnv *env)
{
ALOGE("[%s]%d",__FILE__,__LINE__);
return AndroidRuntime::registerNativeMethods(env,
kClassPathName, gMethods, NELEM(gMethods));
}

jint JNI_OnLoad(JavaVM* vm, void* reserved)
{
ALOGE("[%s]%d",__FILE__,__LINE__);
JNIEnv* env = NULL;
jint result = -1;

if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) {
ALOGE("ERROR: GetEnv failed\n");
goto bail;
}
assert(env != NULL);
ALOGE("[%s]%d",__FILE__,__LINE__);
if (register_com_example_myyuvviewer(env) < 0) {
ALOGE("ERROR: MediaPlayer native registration failed\n");
goto bail;
}

/* success -- return valid version number */
result = JNI_VERSION_1_4;

bail:
return result;
}

Android.mk

LOCAL_PATH:= $(call my-dir)
include $(CLEAR_VARS)

LOCAL_SRC_FILES:= \
showYUV.cpp

LOCAL_SHARED_LIBRARIES := \
libcutils \
libutils \
libbinder \
libui \
libgui \
libandroid_runtime \
libstagefright_foundation

LOCAL_MODULE:= libshowYUV

LOCAL_MODULE_TAGS := tests

include $(BUILD_SHARED_LIBRARY)

生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下，没有就手动创建目录，

这样Eclipse会自动把so库打包进apk。

这种方式不通用

换一个手机 或者Android版本就不行了

就像以前ffmpeg提供过个基于OMX的H264硬解码一样15楼 丧尽心 2016-08-27 10:42发表 [回复]

计算了下渲染时间，貌似只有10ms左右，帧率不可能知己十几帧，后来看了下是摄像头回来的数据就只有十几帧，看样子不是渲染的问题，用这个渲染速度应该可以达到60fps14楼 丧尽心 2016-08-26 19:26发表 [回复]

博主你哈，你这个代码我编译通过了，在设备上看也能看到效果，不过图像是黑白的，还有帧率有点低，而且似乎没有了平台的移植性了，在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染，视频会一卡一卡的，有没有什么方法改善？13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？11楼 果子林里的一滴清水 2015-12-08 16:31发表 [回复]

楼主 链接已经无法访问，能再提供相关链接麽？还有楼主是在linux 下使用ndk编译的还是windows下编译的？？10楼 长江很多号 2015-08-22 22:00发表 [回复]

嗯，在硬件公司干活，分分钟可以编译NDK。
嗯，楼主研究的还是蛮深的，不错！谢谢分享^_^9楼 lishi_1991 2015-01-08 17:00发表 [回复]

您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目，所以就将您jni层的代码拷贝下来，用cygwin编译无法通过，后来下载了android源码，在Makefile里指定了jni层头文件在android源码的位置，然后就可以编译通过，但是生成apk运行时会报错，“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题，只能猜测可能因为需要链接到android源码下，不知道这个猜测对不对，不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。8楼 lishi_1991 2014-12-23 15:51发表 [回复]

您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so"
我查过有人说是因为 ndk版本太高的问题，请问您遇到过这个问题吗 是如何解决的呢7楼 zhutoubenben 2014-12-19 16:51发表 [回复]

您好，我尝试过您的代码，没什么问题，但是当我要改为播放整个视频的时候，却发现，这里老是报错：ALOGW("Surface::queueBuffer returned error %d", err);
修改的地方主要是，继承了surfaceview，并在ondraw里面调用了更新画面的代码：
readYUVFile(yuvArray, FILE_NAME);
nativeSetVideoSurface(holder.getSurface());
nativeShowYUV(yuvArray,width,height);
但是并没有成功，请问该怎么去播放整个视频呢？Re: zhutoubenben 2014-12-19 16:54发表 [回复]

回复zhutoubenben：参考这个 修改的： http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.htmlRe: zhutoubenben 2014-12-26 23:00发表 [回复]

回复zhutoubenben：已经解决，去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放，主要的问题在于说，在播放视频的时候，我在android上层放大和移动坐标的时候发现抖动得厉害，用同样的算法操作图片没有任何问题，但是操作这个就很抖了，尝试，首次调用显示yuv后，后面再也不调用，但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢？6楼 水木酱 2014-11-28 10:01发表 [回复]

博主您好，完整的android我已经编译过了，然后我该怎么设置环境来编译上面的代码呢？5楼 liweiran0 2014-11-05 13:45发表 [回复]

编译成功，不过博主这个只读取了一帧数据吧，没有做一个循环所以只显示1帧图片？Re: liweiran0 2014-11-05 13:45发表 [回复]

回复liweiran0：而且是ndk下编译的，没任何问题，除了需要拷贝几个.so文件4楼 marmot18 2014-10-16 15:21发表 [回复]

只能显示一帧吗？显示了第一帧就停了呀，没有动画3楼 marmot18 2014-10-16 10:11发表 [回复]

YUV数据下载不了2楼 qq_21872707 2014-10-11 17:40发表 [回复]

您好，将摄像头的一帧yv12的数据显示出来，是黑白色的，您遇到这个问题嘛？可否把您的测试数据上传一帧上来，之前的失效了。1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]

您好，我按照你的编译，出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'Re: _缥缈孤鸿影_ 2014-08-05 19:51发表 [回复] [引用] [举报]

回复小刚3：说实话，我觉得NDK下编译应该是编译不过的。至于你这个错误，你可以参考一下http://www.cnblogs.com/soniclq/archive/2012/07/05/2577213.html。