Android图片编码机制深度解析(Bitmap,Skia,libJpeg)
2016-03-16 09:05
549 查看
问题
工作中遇到了Android中有关图片压缩保存的问题,发现这个问题还挺深,而且网上资料比较有限,因此自己深入研究了一下,算是把这个问题自顶至下全部搞懂了,在此记录。
相关的几个问题如下:
1.Android系统是如何编码压缩保存图片的?
2.Skia库起到的作用?
3.libJpeg库起到的作用?
4.能不能自己调用Skia或libJpeg?
解答
一谈到Android上的图片压缩保存,基本都会想到android.graphics.Bitmap这个类,它提供了一个非常方便(事实上也只有这一个)的方法:
这个方法可以把当前的bitmap,根据参数提供的压缩格式(JPEG、PNG、WEBP)和压缩质量,将压缩好的数据输出到指定的输出流中。再跟进到这个函数中,发现如下代码,ok,又进入了神秘的native层,只能查看android的源码了
在源码中的\frameworks\base\core\jni\android\graphics\Bitmap.cpp我发现了nativeCompress这个方法实际对应的C++函数,
static bool Bitmap_compress(JNIEnv* env, jobject clazz, SkBitmap* bitmap,int format, int quality,object jstream, jbyteArray jstorage)
ok,这时大致可以回答第二个问题了——Skia库起到的作用。上层的compress函数其实最终调用的就是Skia的Bitmap_compress函数,java这层基本上啥也没做,99%的工作都是在native中调用skia库中的函数完成的。再解释一下这个函数的各个参数。其中,前两个参数是JNI函数必带的,bitmap是SkBitmap类型指针,在创建该Bitmap时分配。Format是压缩格式,有JPEG、PNG和WEBP三种。quality是压缩质量,0-100的整数。jstream是从java层传过来的输出流,用来将压缩好的图片数据输出,Jstorage是用于native层压缩类和输出流之间传递数据的。
接下来继续分析一下Bitmap_compress函数的内部,代码很好理解,而且大部分我都加了注释,
如之前所说,该函数调用来skia的encodeStream函数来对图片进行压缩编码。接下来大致介绍一下skia库。
Skia 是一个 c++实现的代码库,在android 中以扩展库的形式存在,目录为external/skia/。总体来说skia是个相对简单的库,在android中提供了基本的画图和简单的编解码功能。另外,skia 同样可以挂接其他第3方编码解码库或者硬件编解码库,例如libpng和libjpeg。在Android中skia就是这么做的,\external\skia\src\images文件夹下面,有几个SkImageDecoder_xxx.cpp文件,他们都是继承自SkImageDecoder.cpp类,并利用第三方库对相应类型文件解码,最后再通过SkTRegistry注册,代码如下所示,
至此,第一个问题也得到了解答,Android编码保存图片就是通过Java层函数——Native层函数——Skia库函数——对应第三方库函数(例如libjpeg),这一层层调用做到的。Android真是做到了“善假于物也”。
接下来分析第三方库中究竟是如何对位图(Bitmap)编码。由于工作中只涉及到了jpeg编码,因此我仅研究了Android中libjpeg中的编码方式,以及和标准libjpeg的区别。在\external\jpeg文件夹下面是google用于编译libjpeg.so库的代码和配置文件。需要注意的是,这份代码和libjpeg提供的标准版6b版本(http://sourceforge.net/projects/libjpeg/files/libjpeg/6b/)是不同的。我大致比较过两份代码的区别:主要是Android版修改/添加了一些额外的支持,
1.Android版本修改了内存管理方式,使用自己的方式。
2.Android版添加了把压缩数据输出到输出流的支持。
接下来讲一下libjpeg压缩图片的流程,这部分网上的资料就非常多了,因为libjpeg是个跨平台的开源库,只要有代码,不仅在Android系统,其他系统上依然可以编译出库。整个流程非常简单,直接上代码和注释
至此,第三个问题也可以回答了,真正干活(对图像进行编码压缩)的才是libjpeg。
最后,说一下最后一个问题。理论上,是可以自己调用skia和libjpeg库函数的。有两种方式,一种是通过自己获取源代码,编译出自己的skia或libjpeg库,然后使用。这种做法也是网上写的最多的,优点是自己可以随意改代码,想怎么编码怎么编码,灵活度比较大,缺点就是最后生成的动态链接库会比较大。第二种方法是通过调用系统自带的动态链接库来使用库函数,优点是只需要在编译自己的动态库时包括进头文件即可,最终生成的库很小,缺点是灵活度较低,而且skia和libjpeg随着Android版本和生产商不同,版本也会改变,容易出现链接失败,即调用库函数失败。具体怎么用完全看自己的需求了。自己编译skia和lijpeg的网上例子很多也很容易做,在此不做介绍了。我介绍一下如何使用系统的动态链接库,
1.下载一份android系统的源码,把\external\jpeg下的.h头文件都复制到一个目录下,我为了方便,直接放在了工程的jni目录下,注意不能用libjpeg官网上面的头文件,因为版本可能对不上。
2.编写Android.mk文件,需要注意的是LOCAL_LDLIBS :=里面一定要加上-ljpeg,下面是我的mk文件,一些编译选项都是摘抄Android源码里面的
3.编写自己的测试cpp文件,基本按照上面将的libjpeg使用流程调用即可,需要注意的是libjpeg接受的输入色彩空间没有RGBA,因此需要自己把bitmap的RGBA转换成RGB,Skia里面是直接从RGBA转成YUV的。我的测试代码如下,功能很简单,接收一个bitmap、一个保存路径和一个质量因子,按照要求把bitmap保存成jpg图片。
4.编译的时候,会发现提示找不到libjpeg.so库,找一部手机,从system/lib下面把libjpeg.so抓出来,然后放在编译提示找不到库的那个目录下,我的目录是\android-ndk-r10d\toolchains\arm-linux-androideabi-4.8\prebuilt\windows-x86_64\lib\gcc\arm-linux-androideabi\4.8
5.重新编译,大功告成!把java的调用部分写好测试一下,没问题就ok了。可以看到,这样生成的so库只有10k多,比用libjpeg源码编译的几百k的库小很多。
调用系统的skia库也是类似的过程,不过skia变动的比较频繁,不建议这么使用,如果有需要还是用源码编译自己的libskia比较好。
参考文献
skia 文档:http://chromium-skia-gm.commondatastorage.googleapis.com/doxygen/doxygen/html/index.html
skia 源码解析 http://www.eoeandroid.com/thread-27841-1-1.html
使用系统自带libjpeg时问题 http://stackoverflow.com/questions/5208817/failing-to-link-against-libjpeg-so-in-jni-ndk-shared-library
工作中遇到了Android中有关图片压缩保存的问题,发现这个问题还挺深,而且网上资料比较有限,因此自己深入研究了一下,算是把这个问题自顶至下全部搞懂了,在此记录。
相关的几个问题如下:
1.Android系统是如何编码压缩保存图片的?
2.Skia库起到的作用?
3.libJpeg库起到的作用?
4.能不能自己调用Skia或libJpeg?
解答
一谈到Android上的图片压缩保存,基本都会想到android.graphics.Bitmap这个类,它提供了一个非常方便(事实上也只有这一个)的方法:
public boolean compress (Bitmap.CompressFormat format,
int quality, OutputStream stream)
这个方法可以把当前的bitmap,根据参数提供的压缩格式(JPEG、PNG、WEBP)和压缩质量,将压缩好的数据输出到指定的输出流中。再跟进到这个函数中,发现如下代码,ok,又进入了神秘的native层,只能查看android的源码了public boolean compress(CompressFormat format, int quality, OutputStream stream) { checkRecycled("Can't compress a recycled bitmap"); // do explicit check before calling the native method if (stream == null) { throw new NullPointerException(); } if (quality < 0 || quality > 100) { throw new IllegalArgumentException("quality must be 0..100"); } return nativeCompress(mNativeBitmap, format.nativeInt, quality, stream, new byte[WORKING_COMPRESS_STORAGE]); }
在源码中的\frameworks\base\core\jni\android\graphics\Bitmap.cpp我发现了nativeCompress这个方法实际对应的C++函数,
static bool Bitmap_compress(JNIEnv* env, jobject clazz, SkBitmap* bitmap,int format, int quality,object jstream, jbyteArray jstorage)
ok,这时大致可以回答第二个问题了——Skia库起到的作用。上层的compress函数其实最终调用的就是Skia的Bitmap_compress函数,java这层基本上啥也没做,99%的工作都是在native中调用skia库中的函数完成的。再解释一下这个函数的各个参数。其中,前两个参数是JNI函数必带的,bitmap是SkBitmap类型指针,在创建该Bitmap时分配。Format是压缩格式,有JPEG、PNG和WEBP三种。quality是压缩质量,0-100的整数。jstream是从java层传过来的输出流,用来将压缩好的图片数据输出,Jstorage是用于native层压缩类和输出流之间传递数据的。
接下来继续分析一下Bitmap_compress函数的内部,代码很好理解,而且大部分我都加了注释,
static bool Bitmap_compress(JNIEnv* env, jobject clazz, SkBitmap* bitmap, int format, int quality, jobject jstream, jbyteArray jstorage) { SkImageEncoder::Type fm; //创建类型变量 //将java层类型变量转换成Skia的类型变量 switch (format) { case kJPEG_JavaEncodeFormat: fm = SkImageEncoder::kJPEG_Type; break; case kPNG_JavaEncodeFormat: fm = SkImageEncoder::kPNG_Type; break; case kWEBP_JavaEncodeFormat: fm = SkImageEncoder::kWEBP_Type; break; default: return false; } //判断当前bitmap指针是否为空 bool success = false; if (NULL != bitmap) { SkAutoLockPixels alp(*bitmap); if (NULL == bitmap->getPixels()) { return false; } //创建SkWStream变量用于将压缩后的图片数据输出 SkWStream* strm = CreateJavaOutputStreamAdaptor(env, jstream, jstorage); if (NULL == strm) { return false; } //根据编码类型,创建SkImageEncoder变量,并调用encodeStream对bitmap //指针指向的图片数据进行编码,完成后释放资源。 SkImageEncoder* encoder = SkImageEncoder::Create(fm); if (NULL != encoder) { success = encoder->encodeStream(strm, *bitmap, quality); delete encoder; } delete strm; } return success; }
如之前所说,该函数调用来skia的encodeStream函数来对图片进行压缩编码。接下来大致介绍一下skia库。
Skia 是一个 c++实现的代码库,在android 中以扩展库的形式存在,目录为external/skia/。总体来说skia是个相对简单的库,在android中提供了基本的画图和简单的编解码功能。另外,skia 同样可以挂接其他第3方编码解码库或者硬件编解码库,例如libpng和libjpeg。在Android中skia就是这么做的,\external\skia\src\images文件夹下面,有几个SkImageDecoder_xxx.cpp文件,他们都是继承自SkImageDecoder.cpp类,并利用第三方库对相应类型文件解码,最后再通过SkTRegistry注册,代码如下所示,
1 static SkTRegistry<SkImageDecoder*, SkStream*> gDReg(sk_libjpeg_dfactory); 2 static SkTRegistry<SkImageDecoder::Format, SkStream*> gFormatReg(get_format_jpeg); 3 static SkTRegistry<SkImageEncoder*, SkImageEncoder::Type> gEReg(sk_libjpeg_efactory);
至此,第一个问题也得到了解答,Android编码保存图片就是通过Java层函数——Native层函数——Skia库函数——对应第三方库函数(例如libjpeg),这一层层调用做到的。Android真是做到了“善假于物也”。
接下来分析第三方库中究竟是如何对位图(Bitmap)编码。由于工作中只涉及到了jpeg编码,因此我仅研究了Android中libjpeg中的编码方式,以及和标准libjpeg的区别。在\external\jpeg文件夹下面是google用于编译libjpeg.so库的代码和配置文件。需要注意的是,这份代码和libjpeg提供的标准版6b版本(http://sourceforge.net/projects/libjpeg/files/libjpeg/6b/)是不同的。我大致比较过两份代码的区别:主要是Android版修改/添加了一些额外的支持,
1.Android版本修改了内存管理方式,使用自己的方式。
2.Android版添加了把压缩数据输出到输出流的支持。
接下来讲一下libjpeg压缩图片的流程,这部分网上的资料就非常多了,因为libjpeg是个跨平台的开源库,只要有代码,不仅在Android系统,其他系统上依然可以编译出库。整个流程非常简单,直接上代码和注释
//声明一些在压缩时需要的变量,jerr用于错误控制 struct jpeg_compress_struct cinfo; struct jpeg_error_mgr jerr; cinfo.err = jpeg_std_error(&jerr); jerr.output_message=android_output_message; //使用自定义的日志输出函数,不是必须的 jerr.error_exit=myjpeg_error_exit; //使用自定义的错误退出函数,不是必须的 jpeg_create_compress(&cinfo); //创建libjpeg的压缩结构体 cinfo.image_width = width; //设置被压缩图片的宽、高、通道数和色彩空间 cinfo.image_height = height; cinfo.input_components = 3; cinfo.in_color_space = JCS_RGB; FILE * outfile; //创建文件变量用于指定压缩数据的输出目标 if ((outfile = fopen(imgPath, "wb")) == NULL) { fprintf(stderr, "can't open %s\n", imgPath); exit(1); } jpeg_set_defaults(&cinfo); //对cinfo做一些默认设置 jpeg_stdio_dest(&cinfo, outfile); //将之前的outfile作为输出目标 jpeg_set_quality(&cinfo,quality,TRUE); //设置压缩jpeg图片的质量 jpeg_start_compress(&cinfo, TRUE); //开始压缩 unsigned char * srcImg=(unsigned char *)imageData; //逐行的获取图像数据,进行压缩处理 while (cinfo.next_scanline < cinfo.image_height) { JSAMPROW row_pointer[1]; /* pointer to JSAMPLE row[s] */ row_pointer[0] = srcImg; (void) jpeg_write_scanlines(&cinfo, row_pointer, 1); srcImg+=widthStep; } //压缩保存完毕,对使用到的变量进行销毁 jpeg_finish_compress(&cinfo); jpeg_destroy_compress(&cinfo);
至此,第三个问题也可以回答了,真正干活(对图像进行编码压缩)的才是libjpeg。
最后,说一下最后一个问题。理论上,是可以自己调用skia和libjpeg库函数的。有两种方式,一种是通过自己获取源代码,编译出自己的skia或libjpeg库,然后使用。这种做法也是网上写的最多的,优点是自己可以随意改代码,想怎么编码怎么编码,灵活度比较大,缺点就是最后生成的动态链接库会比较大。第二种方法是通过调用系统自带的动态链接库来使用库函数,优点是只需要在编译自己的动态库时包括进头文件即可,最终生成的库很小,缺点是灵活度较低,而且skia和libjpeg随着Android版本和生产商不同,版本也会改变,容易出现链接失败,即调用库函数失败。具体怎么用完全看自己的需求了。自己编译skia和lijpeg的网上例子很多也很容易做,在此不做介绍了。我介绍一下如何使用系统的动态链接库,
1.下载一份android系统的源码,把\external\jpeg下的.h头文件都复制到一个目录下,我为了方便,直接放在了工程的jni目录下,注意不能用libjpeg官网上面的头文件,因为版本可能对不上。
2.编写Android.mk文件,需要注意的是LOCAL_LDLIBS :=里面一定要加上-ljpeg,下面是我的mk文件,一些编译选项都是摘抄Android源码里面的
LOCAL_PATH := $(call my-dir) include $(CLEAR_VARS) LOCAL_MODULE := AndroidJpegTest LOCAL_SRC_FILES := AndroidJpegTest.cpp LOCAL_LDLIBS :=-llog -ljpeg -ljnigraphics LOCAL_C_INCLUDES := $(LOCAL_PATH) LOCAL_CFLAGS += -O3 -fstrict-aliasing -fprefetch-loop-arrays LOCAL_CFLAGS += -DUSE_ANDROID_ASHMEM LOCAL_CFLAGS += -DAVOID_TABLES LOCAL_CFLAGS += -DANDROID_TILE_BASED_DECODE LOCAL_SDK_VERSION := 17 include $(BUILD_SHARED_LIBRARY)
3.编写自己的测试cpp文件,基本按照上面将的libjpeg使用流程调用即可,需要注意的是libjpeg接受的输入色彩空间没有RGBA,因此需要自己把bitmap的RGBA转换成RGB,Skia里面是直接从RGBA转成YUV的。我的测试代码如下,功能很简单,接收一个bitmap、一个保存路径和一个质量因子,按照要求把bitmap保存成jpg图片。
#ifdef __cplusplus extern "C" { #endif #include <jni.h> #include <stdio.h> #include <stdlib.h> #include<android/bitmap.h> #include<android/log.h> #include"jpeglib.h" #define TAG "JPEGTEST" #define LOGI(...) __android_log_print(ANDROID_LOG_INFO,TAG,__VA_ARGS__) static void myjpeg_error_exit(j_common_ptr jcs) { jpeg_error_mgr* error = (jpeg_error_mgr*)jcs->err; (*error->output_message) (jcs); jpeg_destroy(jcs); exit(EXIT_FAILURE); } static void android_output_message(j_common_ptr cinfo) { char buffer[2048]; /* Create the message */ (*cinfo->err->format_message)(cinfo, buffer); LOGI("%s", buffer); } JNIEXPORT jint Java_com_example_yuvconv_NativeFunc_convert (JNIEnv *env, jclass thiz, jobject bmpObj,jstring filepath,jint quality) { const char *imgPath = env->GetStringUTFChars(filepath, 0); AndroidBitmapInfo bmpinfo = {0}; if (AndroidBitmap_getInfo(env, bmpObj, &bmpinfo) < 0) { LOGI("read failed"); return JNI_FALSE; } int width = bmpinfo.width; int height =bmpinfo.height; int widthStep = (width*3+3)/4*4; if(bmpinfo.width <= 0 || bmpinfo.height <= 0 || bmpinfo.format != ANDROID_BITMAP_FORMAT_RGBA_8888) { LOGI("format error"); return JNI_FALSE; } void* bmpFromJObject = NULL; if (AndroidBitmap_lockPixels(env,bmpObj,(void**)&bmpFromJObject) < 0) { LOGI("lockPixels failed"); return JNI_FALSE; } unsigned char*imageData= (unsigned char*)malloc(sizeof(unsigned char)*(width*3+3)/4*4*height); unsigned char* pBuff = (unsigned char*)bmpFromJObject; unsigned char* pImgData = imageData; for (int y = 0; y < height; y++) { unsigned char* p1 = pImgData; unsigned char* p2 = pBuff; for (int x = 0; x < width; x++) { p1[0] = p2[0]; //R p1[1] = p2[1]; //G p1[2] = p2[2]; //B p1 += 3; p2 += 4; } pImgData +=widthStep; pBuff += bmpinfo.stride; } struct jpeg_compress_struct cinfo; struct jpeg_error_mgr jerr; cinfo.err = jpeg_std_error(&jerr); jerr.output_message=android_output_message; jerr.error_exit=myjpeg_error_exit; jpeg_create_compress(&cinfo); cinfo.image_width = width; cinfo.image_height = height; cinfo.input_components = 3; cinfo.in_color_space = JCS_RGB; FILE * outfile; if ((outfile = fopen(imgPath, "wb")) == NULL) { fprintf(stderr, "can't open %s\n", imgPath); return JNI_FALSE; } jpeg_set_defaults(&cinfo); jpeg_stdio_dest(&cinfo, outfile); jpeg_set_quality(&cinfo,quality,TRUE); jpeg_start_compress(&cinfo, TRUE); unsigned char * srcImg=(unsigned char *)imageData; while (cinfo.next_scanline < cinfo.image_height) { JSAMPROW row_pointer[1]; /* pointer to JSAMPLE row[s] */ row_pointer[0] = srcImg; (void) jpeg_write_scanlines(&cinfo, row_pointer, 1); srcImg+=widthStep; } jpeg_finish_compress(&cinfo); jpeg_destroy_compress(&cinfo); env->ReleaseStringUTFChars(filepath, imgPath); return JNI_TRUE; } #ifdef __cplusplus } #endif
4.编译的时候,会发现提示找不到libjpeg.so库,找一部手机,从system/lib下面把libjpeg.so抓出来,然后放在编译提示找不到库的那个目录下,我的目录是\android-ndk-r10d\toolchains\arm-linux-androideabi-4.8\prebuilt\windows-x86_64\lib\gcc\arm-linux-androideabi\4.8
5.重新编译,大功告成!把java的调用部分写好测试一下,没问题就ok了。可以看到,这样生成的so库只有10k多,比用libjpeg源码编译的几百k的库小很多。
调用系统的skia库也是类似的过程,不过skia变动的比较频繁,不建议这么使用,如果有需要还是用源码编译自己的libskia比较好。
参考文献
skia 文档:http://chromium-skia-gm.commondatastorage.googleapis.com/doxygen/doxygen/html/index.html
skia 源码解析 http://www.eoeandroid.com/thread-27841-1-1.html
使用系统自带libjpeg时问题 http://stackoverflow.com/questions/5208817/failing-to-link-against-libjpeg-so-in-jni-ndk-shared-library
相关文章推荐
- android学习路线
- 分享100个开源android项目源码
- Android 蓝牙4.0详细
- Android View 如何测量
- Android 6.0(API级别23)包括各种系统变化和API的行为变化
- Android IOS WebRTC 音视频开发总结(六五)-- 给韩国电信巨头做咨询
- 如何配置android的adb环境变量
- 如何配置android的adb环境变量
- Android应用进程、服务启动与常驻探究
- Gradle for Android
- 优化你的TipeView
- Android性能优化
- Android性能优化
- 全貌概览
- Android Toast.makeText 的几种常见用法
- android获取APK签名信息及MD5指纹
- Android SVG 矢量动画机制
- The project target (Android L (Preview)) was not properly loaded.
- android自定义AdapterView
- Android快速开发框架