hadoop下的rpc简单实现

lz最近在学习hadoop的相关知识，其中一节是关于rpc的内容，那么首先需要了解什么是rpc？

rpc即为远程过程调用协议，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。rpc协议假定某些传输协议的存在，如tcp/udp，为通信程序之间携带信息数据。如osi网络模型中，rpc跨越了传输层和应用层。rpc使得开发包括网络分布式程序在内的应用程序更加简单。即为一个进程提供了访问其他服务进程的方法，获取其他进程服务方法计算结果的能力，这些进程往往处于不同的计算机中。

rpc采用服务器／客户端模式。请求程序就是一个客户机，而服务提供者就是一个服务器。首先，客户机调用进程发送一个有进程状态的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用的信息到达为止。当一个调用信息到达，服务器获得进程参数、计算结果、发送答复消息，然后等待下一个调用信息，最后客户端调用进程接受答复信息，获取进程结果，然后调用执行继续进行。

其中关于hadoop的整个体系结构就是建立在rpc之上的（org.apache.hadoop.ipc）

                       rpc interface 

rpc server                                    rpc client

其中关于rpc类的包里，主要含有以下的一些方法，包括builder、server方法，其中Builder类是rpc类的静态内部类，其中会调用其中的setProtocol setInstance setBindAddress setPort等方法；还有一类是proxy的代理类，用于动态代理方法的实现。

因为采用客户端／服务器端的模式，那么每次开启服务器端后，服务器就开始进行监听，等待有客户端来连接，并且是阻塞式地监听。

那么接下来我通过一个小的demo程序来完成相应的hadoop下的rpc程序。

首先是pom.xml文件，用于maven程序的jar包自动导入：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>

<groupId>com.sunwangdong.hadoop.test</groupId>
<artifactId>jkxy</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>2.7.1</version>
</dependency>
</dependencies>

</project>
然后是实现一个RPCServer类。

package com.jkxy.hadoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;

/**
* Created by sunwangdong on 2017/3/8.
*/
public class RPCServer implements IRPCInterface{
public static void main(String[] args) throws IOException
{
RPC.Server server = new RPC.Builder(new Configuration())
.setBindAddress("localhost")
.setPort(8880)
.setInstance(new RPCServer())
.setProtocol(IRPCInterface.class)
.build();
server.start();

}

public String test(String s)
{
System.out.println("RPCServer.test()");
return "rpc" + s;
}
}其中这里注意引入的是org.apache.hadoop.ipc.rpc下的包，这个包是在hadoop-common包的依赖下，特别要注意相关包的依赖关系。然后是客户端的代码
package com.jkxy.hadoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

/**
* Created by sunwangdong on 2017/3/8.
*/
public class RPCClient
{
public static void main(String[] args) throws IOException
{
//获取远程访问的本地代理
IRPCInterface proxy = RPC.getProxy(IRPCInterface.class,1,new InetSocketAddress("localhost",8880),new Configuration());

String s = proxy.test("client");
System.out.println("client=====>" + s);
}
}上述是客户端的代码，客户端主要用到了动态代理模式，也就是通过proxy类来实现在执行过程中来动态执行相关的方法。相关动态代理的知识，可以复习java的设计模式，btw，设计模式在高级的java相关的开发中还是经常被用到的。
其中这里需要实现一个接口用于调用，这里我用了一个IRPCInterface来实现。

public interface IRPCInterface {
public static final long versionID = 1;
public String test(String s);
}这里要注意的是，需要设置一个version的版本号，这个版本号是用于在调用相关的接口时，能够达到客户端和服务器端一致的作用，这一点有点类似于java的io编程时的序列化，要实现一个serialize的版本号。
以上是最简单的一个hadoop的rpc下的demo，可以通过此程序来实现更高级的hadoop代码。