hadoop-MapReduce使用的Java技术
2016-11-15 16:37
267 查看
最近在自学MapReduce的知识,虽然是个初学者,但是里面用的Java技术对于我来说并不陌生,在阅读源码的同时我可以体会到hadoop的开发者是一个资深的Java开发者,对于架构和分布式的知识有深层次的研究,同时感觉自己任重而道远啊。好了,不扯淡。我就说一说学习MapReduce需要的Java知识。
1、Java 的CallBack机制
理解这个机制首先要对java多态有深层次的理解不简简单单的知识会用,要知道怎么使用,为什么这样用,在什么时候使用。具体的Callback是什么,我在博客中已经简单的写过,不做具体的说明,具体这个使用的妙处,需阅读源码体会。
2、Java 序列化
对象的序列化有两个目的:1)持久化对象–指的是持久化对象到文件。2)服务通讯例如:在RPC中的使用,就是为了通讯使用。
3、MapReduce 中通讯通过RPC 实现
RPC 中使用的Java 技术
1)动态代理
2)Java NIO技术
3)Java Socket技术
在系统之间的通信机制主要有两种:基于消息通信,基于调用;
RPC是基于消息的机制;基于调用的比较常见的是HTTP;
这是我阅读源码在一步步看出来的这些java基础知识,如果想深入学习MapReduce 我觉得最起码的你要对这些知识有深入的理解。具体我会在后面的博客中介绍这些基础知识。
1、Java 的CallBack机制
理解这个机制首先要对java多态有深层次的理解不简简单单的知识会用,要知道怎么使用,为什么这样用,在什么时候使用。具体的Callback是什么,我在博客中已经简单的写过,不做具体的说明,具体这个使用的妙处,需阅读源码体会。
2、Java 序列化
对象的序列化有两个目的:1)持久化对象–指的是持久化对象到文件。2)服务通讯例如:在RPC中的使用,就是为了通讯使用。
3、MapReduce 中通讯通过RPC 实现
RPC 中使用的Java 技术
1)动态代理
2)Java NIO技术
3)Java Socket技术
在系统之间的通信机制主要有两种:基于消息通信,基于调用;
RPC是基于消息的机制;基于调用的比较常见的是HTTP;
这是我阅读源码在一步步看出来的这些java基础知识,如果想深入学习MapReduce 我觉得最起码的你要对这些知识有深入的理解。具体我会在后面的博客中介绍这些基础知识。
相关文章推荐
- MapReduce 规划 系列的12 使用Hadoop Streaming技术集成newLISP文字
- Hadoop MapReduce中压缩技术的使用
- 一起学Hadoop——使用IDEA编写第一个MapReduce程序(Java和Python)
- Java使用JNDI技术获取DataSource对象
- 如何正确的使用Java序列化技术(转)
- 使用JAVA技术实现新一代OSS/BSS
- Java 程序破解初步 -> 使用帮助类(注入)技术
- 使用Java蓝牙无线通讯技术API(第一部分 -API概览)(1)
- 如何正确的使用Java序列化技术(转贴)
- Java开源技术:Eclipse的使用技巧详解
- 使用JAVA技术连接SAP
- 使用JAVA技术实现文件的上传
- 中文java技术网JSP使用环境的配置
- JAVA技术:Tapestry组件使用总结
- 使用Java的动态代理技术实现对象适配器模式
- 小鸟吹烟--如何正确的使用Java序列化技术-
- rss技术,使用java解析xml
- JAVA技术文章: 使用JWhich工具管理CLASSPATH
- 如何正确的使用Java序列化技术
- 使用JAVA技术实现新一代OSS/BSS