您的位置:首页 > 编程语言 > Java开发

hadoop-MapReduce使用的Java技术

2016-11-15 16:37 267 查看
最近在自学MapReduce的知识,虽然是个初学者,但是里面用的Java技术对于我来说并不陌生,在阅读源码的同时我可以体会到hadoop的开发者是一个资深的Java开发者,对于架构和分布式的知识有深层次的研究,同时感觉自己任重而道远啊。好了,不扯淡。我就说一说学习MapReduce需要的Java知识。

1、Java 的CallBack机制

理解这个机制首先要对java多态有深层次的理解不简简单单的知识会用,要知道怎么使用,为什么这样用,在什么时候使用。具体的Callback是什么,我在博客中已经简单的写过,不做具体的说明,具体这个使用的妙处,需阅读源码体会。

2、Java 序列化

对象的序列化有两个目的:1)持久化对象–指的是持久化对象到文件。2)服务通讯例如:在RPC中的使用,就是为了通讯使用。

3、MapReduce 中通讯通过RPC 实现

RPC 中使用的Java 技术

1)动态代理

2)Java NIO技术

3)Java Socket技术

在系统之间的通信机制主要有两种:基于消息通信,基于调用;

RPC是基于消息的机制;基于调用的比较常见的是HTTP;

这是我阅读源码在一步步看出来的这些java基础知识,如果想深入学习MapReduce 我觉得最起码的你要对这些知识有深入的理解。具体我会在后面的博客中介绍这些基础知识。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: