您的位置:首页 > 运维架构

Hadoop学习:(二)hadoop的简介

2013-01-13 20:03 253 查看
hadoop的版本区别:

1.0.X - current stable version, 1.0 release

1.1.X - current beta version, 1.1 release

2.X.X - current alpha version

0.23.X - simmilar to 2.X.X but missing NN HA.

0.22.X - does not include security

0.20.203.X - old legacy stable version

0.20.X - old legacy version

参考官方地址:http://hadoop.apache.org/releases.html

hadoop框架:

  Hadoop 有许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS(对于本文)的上一层是 MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。

hadoop集群搭建:

  (略)参考:http://www.cnblogs.com/xia520pi/category/346943.html

  主要学习hadoop框架以及背后的思想,编码mapreduce程序,来解决实际问题。

mapreduce过程:

  主要为六个过程:

  InputFormat

  Mapper

  Commbiner

  Partitioner

  Reducer

  OutputFormat

  学习开发的hadoop版本:1.0.4

  

  
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: