【java学习】Jni在hadoop上的使用（下）

有了前两篇博文的铺垫，这一篇，进入“阶段三”，即在hadoop中调用.so动态库，在动态库中读取文件。

其实苦头都在前面吃了，这部分相对很顺利。

首先，在动态库.so的java wrapper中增加一个函数接口Init，用来load词典文件：

package FakeSegmentForJni;

/**
*
* This class is for verifying the jni technology. It's a fake segmenter.
* The only user is its function interface.
*
*/

public class FakeSegmentForJni {
public static native boolean Init (String file);
public static native String SegmentALine (String line);

static
{
System.loadLibrary("FakeSegmentForJni");
}
}

接下来，同《【java学习】Jni在hadoop上的使用（上）》中介绍的过程一样，用javac命令生成FakeSegmentForJni.class文件，用javah命令生成c++头文件FakeSegmentForJni_FakeSegmentForJni.h。用javah的时候，要注意路径问题。FakeSegmentForJni_FakeSegmentForJni.h看起来是这个样子的：

/* DO NOT EDIT THIS FILE - it is machine generated */
#include <jni.h>
/* Header for class FakeSegmentForJni_FakeSegmentForJni */

#ifndef _Included_FakeSegmentForJni_FakeSegmentForJni
#define _Included_FakeSegmentForJni_FakeSegmentForJni
#ifdef __cplusplus
extern "C" {
#endif
/*
* Class:     FakeSegmentForJni_FakeSegmentForJni
* Method:    Init
* Signature: (Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_FakeSegmentForJni_FakeSegmentForJni_Init
(JNIEnv *, jclass, jstring);

/*
* Class:     FakeSegmentForJni_FakeSegmentForJni
* Method:    SegmentALine
* Signature: (Ljava/lang/String;)Ljava/lang/String;
*/
JNIEXPORT jstring JNICALL Java_FakeSegmentForJni_FakeSegmentForJni_SegmentALine
(JNIEnv *, jclass, jstring);

#ifdef __cplusplus
}
#endif
#endif

其实也可以自己来写。

第二，编写FakeSegmentForJni_FakeSegmentForJni.cpp文件内容，实现相关功能，如下：

#include <jni.h>
#include <stdio.h>
#include <string.h>

#include <string>
#include <vector>
#include <fstream>
#include <iostream>

#include "FakeSegmentForJni_FakeSegmentForJni.h"

using namespace std;

// the global varable for lexicon
vector <string> WordVec;

/* * Class:     FakeSegmentForJni_FakeSegmentForJni
* * Method:    Init
* * Signature: (Ljava/lang/String;)Ljava/lang/String;
* */
JNIEXPORT jboolean JNICALL Java_FakeSegmentForJni_FakeSegmentForJni_Init
(JNIEnv *env, jclass obj, jstring line)
{
const char *pFileName = NULL;
pFileName = env->GetStringUTFChars (line, false);
if (pFileName == NULL)
return false;

ifstream in (pFileName);
if (!in)
{
cerr << "Can not open the file of " << pFileName << endl;
return false;
}
string sWord;
while (getline (in, sWord))
{
WordVec.push_back(sWord);
}
return true;
}

/* * Class:     FakeSegmentForJni_FakeSegmentForJni
* * Method:    SegmentALine
* * Signature: (Ljava/lang/String;)Ljava/lang/String;
* */

JNIEXPORT jstring JNICALL Java_FakeSegmentForJni_FakeSegmentForJni_SegmentALine
(JNIEnv *env, jclass obj, jstring line)
{
char buf[128];
buf[0] = 0;
const char *str = NULL;
str = env->GetStringUTFChars(line, false);
if (str == NULL)
return NULL;
strcpy (buf, str);
if (!WordVec.empty())
strcat (buf, WordVec.at(0).c_str());
// strcat (buf, "--copy that\n");
env->ReleaseStringUTFChars(line, str);
return env->NewStringUTF(buf);
}

功能很简单，就是在Init函数中打开一个文件，将文件中的每一行存储在全局变量WordVec中；然后，在SegmentALine函数中，将输入字符串和WordVec中的第一个元素相连接，再输出。用g++将.cpp文件编译成.so文件，命令如下：

g++ -I/System/Library/Frameworks/JavaVM.framework/Versions/A/Headers FakeSegmentForJni_FakeSegmentForJni.cpp -fPIC -shared -o libFakeSegmentForJni.so

第三步，写hadoop程序。

map函数：

public static class MapTestJni extends Mapper<Writable, Text, Text, Text> {

protected String s;
protected void setup(Context context) throws IOException, InterruptedException
{
FakeSegmentForJni.Init("Lex.txt");
s = FakeSegmentForJni.SegmentALine("jni-value");
}

protected void map(Writable key, Text value, Context context)
throws IOException, InterruptedException {

// the format of input value is:
//    mcid totaltimes item1 item2(itemkey=itemvalue)

context.write(new Text("key"), new Text(s.toString()));
}
}

在setup函数中，我们调用了FakeSegmentForJni.Init函数，来load文件Lex.txt中的内容。可以看到，相对路径就是本地当前路径。在下文分发过程中，会将Lex.txt文件分发到与jar文件相同的本地路径下。在map函数中，输出s的内容。reduce函数、控制函数和main函数与《【java学习】Jni在hadoop上的使用（中）》的一样，这里就不重复粘贴了。

第四步，在命令行中用“-files”参数将.so文件和Lex.txt文件分发到tasknode上，命令如下：

hadoop jar /xxx/TestFakeSegmentForJniHadoop.jar -files /xxx/TestJni/libFakeSegmentForJni.so,/xxx/TestJni/Lex.txt FakeSegmentForJni.TestFakeSegmentForJni /input/xxx.txt /outputJNI

多个文件用逗号间隔。

最后，检查运行结果，结果正确。