java自定义实现rpc+hadoop对rpc的实现

1、RPC的基本模型RPC的基本通信模型是基于Client/Server进程间相互通信模型的一种同步通信形式；它对Client提供了远程服务的过程抽象，其底层消息传递操作对Client是透明的。在RPC中，Client即是请求服务的调用者(Caller)，而Server则是执行Client的请求而被调用的程序 (Callee)。2、自定义RPC实现下面主要是通过socket来模拟rpc的客户端和服务器端通信。而socket是典型网络通信模型，4000同步的（这里不提NIO）。我们定义一个server端，首先定义服务实现类HelloServiceImp，一个普通类而已，对外提供可以访问的方法即可。然后开启serversocket，等待客户端发送消息。客户端发送的消息内容：服务方法名称+参数列表和实参值。服务器据此调用本地该方法得到返回值并发送到客户端即完成一次rpc通讯，是不是超级简单呢？接下来具体代码实现（此处参照了网上一位同仁的实例）：首先是框架的代码[java] viewplain copypackage framework;    import java.io.ObjectInputStream;  import java.io.ObjectOutputStream;  import java.lang.reflect.InvocationHandler;  import java.lang.reflect.Method;  import java.lang.reflect.Proxy;  import java.net.ServerSocket;  import java.net.Socket;    /**  * RpcFramework  *   * @author william.liangf  */  public class RpcFramework {        /**      * 暴露服务      *       * @param service 服务实现      * @param port 服务端口      * @throws Exception      */      public static void export(final Object service, int port) throws Exception {          if (service == null)              throw new IllegalArgumentException("service instance == null");          if (port <= 0 || port > 65535)              throw new IllegalArgumentException("Invalid port " + port);          System.out.println("Export service " + service.getClass().getName() + " on port " + port);          ServerSocket server = new ServerSocket(port);          for(;;) {              try {                  final Socket socket = server.accept();//服务器端一旦收到消息，就创建一个线程进行处理                  new Thread(new Runnable() {                      @Override                      public void run() {                          try {                              try {                                  ObjectInputStream input = new ObjectInputStream(socket.getInputStream());                                  try {                                      String methodName = input.readUTF();//service是服务器端提供服务的对象，但是，要通过获取到的调用方法的名称，参数类型，以及参数来选择对象的方法，并调用。获得方法的名称                                      Class<?>[] parameterTypes = (Class<?>[])input.readObject();//获得参数的类型                                      Object[] arguments = (Object[])input.readObject();//获得参数                                      ObjectOutputStream output = new ObjectOutputStream(socket.getOutputStream());                                      try {                                          Method method = service.getClass().getMethod(methodName, parameterTypes);//通过反射机制获得方法                                          Object result = method.invoke(service, arguments);//通过反射机制获得类的方法，并调用这个方法                                          output.writeObject(result);//将结果发送                                      } catch (Throwable t) {                                          output.writeObject(t);                                      } finally {                                          output.close();                                      }                                  } finally {                                      input.close();                                  }                              } finally {                                  socket.close();                              }                          } catch (Exception e) {                              e.printStackTrace();                          }                      }                  }).start();              } catch (Exception e) {                  e.printStackTrace();              }          }      }        /**      * 引用服务      *       * @param <T> 接口泛型      * @param interfaceClass 接口类型      * @param host 服务器主机名      * @param port 服务器端口      * @return 远程服务      * @throws Exception      *///原理是通过代理，获得服务器端接口的一个“代理”的对象。对这个对象的所有操作都会调用invoke函数，在invoke函数中，是将被调用的函数名，参数列表和参数发送到服务器，并接收服务器处理的结果      @SuppressWarnings("unchecked")      public static <T> T refer(final Class<T> interfaceClass, final String host, final int port) throws Exception {          if (interfaceClass == null)              throw new IllegalArgumentException("Interface class == null");          if (! interfaceClass.isInterface())              throw new IllegalArgumentException("The " + interfaceClass.getName() + " must be interface class!");          if (host == null || host.length() == 0)              throw new IllegalArgumentException("Host == null!");          if (port <= 0 || port > 65535)              throw new IllegalArgumentException("Invalid port " + port);          System.out.println("Get remote service " + interfaceClass.getName() + " from server " + host + ":" + port);          return (T) Proxy.newProxyInstance(interfaceClass.getClassLoader(), new Class<?>[] {interfaceClass}, new InvocationHandler() {              public Object invoke(Object proxy, Method method, Object[] arguments) throws Throwable {                  Socket socket = new Socket(host, port);                  try {                      ObjectOutputStream output = new ObjectOutputStream(socket.getOutputStream());                      try {                          output.writeUTF(method.getName());                          output.writeObject(method.getParameterTypes());                          output.writeObject(arguments);                          ObjectInputStream input = new ObjectInputStream(socket.getInputStream());                          try {                              Object result = input.readObject();                              if (result instanceof Throwable) {                                  throw (Throwable) result;                              }                              return result;                          } finally {                              input.close();                          }                      } finally {                          output.close();                      }                  } finally {                      socket.close();                  }              }          });      }    }  服务接口[java] viewplain copypackage user;    public interface  HelloService {      String hello(String name);  }  实现服务[java] viewplain copypackage user;    public class HelloServiceImpl implements HelloService{      public String hello(String name) {          return "Hello " + name;      }    }  服务器[java] viewplain copypackage user;  import framework.RpcFramework;    public class Server {      public static void main(String []args) throws Exception {          HelloService service = new HelloServiceImpl();          RpcFramework.export(service, 1234);       }  }  客户机[java] viewplain copypackage user;  import framework.RpcFramework;    public class Client {      public static void main(String[] args) throws Exception {            HelloService service = RpcFramework.refer(HelloService.class, "127.0.0.1", 1234);            for (int i = 0; i < Integer.MAX_VALUE; i ++) {                String hello = service.hello("World" + i);                System.out.println(hello);                Thread.sleep(1000);            }        }    }  3、hadoop中的rpc大名鼎鼎的hadoop中的hdfs机制就大量采用了rpc。其中hadoop中namenode和datanode节点分布在不同的服务器中，通信基本采取rpc。hadoop1.x版本中的namenode和secondaryNamenode通信亦是如此。hadoop2.x之后采用了HA机制，信息存储在journalnode节点上，而主备服务器节点通过zookeeper完成故障出现时候的切换。具体代码实现如下：一：服务端RPCServerpublic class RPCServer {public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {// TODO Auto-generated method stubBuilder builder=new RPC.Builder(new Configuration());builder.setBindAddress("localhost").setPort(8888).setProtocol(LoginServiceInterface.class).setInstance(new LoginServiceImp());Server server = builder.build();server.start();}}

二：客户端public static void main(String[] args) throws Exception {LoginServiceInterface proxy = RPC.getProxy(LoginServiceInterface.class, 1L, new InetSocketAddress("localhost", 8888), new Configuration());String result = proxy.login("mijie", "123456");System.out.println(result);}LoginServiceInterface就是一个普通服务接口，LoginserviceImp就是实现类，定义一个login方法即可，实现类代码如下：public class LoginServiceImp implements LoginServiceInterface {@Overridepublic String login(String username, String password) {// TODO Auto-generated method stubreturn username+",hello";}}