hadoop学习
2015-05-30 22:44
381 查看
对于hadoop,我也处于学习中,参考大量资料,现在同大家分享下学习内容。
Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞
吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理如下图所示: 采用Master/Slave 结构。NameNode 维护集群内的元数据,对外提供创建、打开、删除
和重命名文件或目录的功能。DatanNode 存储数据,并提负责处理数据的读写请求。DataNode
定期向NameNode 上报心跳,NameNode 通过响应心跳来控制DataNode。
InfoWord 将MapReduce 评为2009 年十大新兴技术的冠军。MapReduce 是大规模数据
(TB 级)计算的利器,Map 和Reduce 是它的主要思想,来源于函数式编程语言,它的原
理如下图所示:
Map 负责将数据打散,Reduce
负责对数据进行聚集,用户只需要实
现map 和reduce 两个接口,即可完成
TB 级数据的计算,常见的应用包括:
日志分析和数据挖掘等数据分析应用。
另外,还可用于科学数据计算,如圆周
率PI 的计算等。
Hadoop MapReduce 的实现也采用
了Master/Slave 结构。Master 叫做
JobTracker,而Slave 叫做TaskTracker。
用户提交的计算叫做Job,每一个
Job 会被划分成若干个Tasks。JobTracker
负责Job 和Tasks 的调度,而TaskTracker
负责执行Tasks。
Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞
吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理如下图所示: 采用Master/Slave 结构。NameNode 维护集群内的元数据,对外提供创建、打开、删除
和重命名文件或目录的功能。DatanNode 存储数据,并提负责处理数据的读写请求。DataNode
定期向NameNode 上报心跳,NameNode 通过响应心跳来控制DataNode。
InfoWord 将MapReduce 评为2009 年十大新兴技术的冠军。MapReduce 是大规模数据
(TB 级)计算的利器,Map 和Reduce 是它的主要思想,来源于函数式编程语言,它的原
理如下图所示:
Map 负责将数据打散,Reduce
负责对数据进行聚集,用户只需要实
现map 和reduce 两个接口,即可完成
TB 级数据的计算,常见的应用包括:
日志分析和数据挖掘等数据分析应用。
另外,还可用于科学数据计算,如圆周
率PI 的计算等。
Hadoop MapReduce 的实现也采用
了Master/Slave 结构。Master 叫做
JobTracker,而Slave 叫做TaskTracker。
用户提交的计算叫做Job,每一个
Job 会被划分成若干个Tasks。JobTracker
负责Job 和Tasks 的调度,而TaskTracker
负责执行Tasks。
相关文章推荐
- Tomcat数据源的配置和使用
- <06>linux的文本高级操作、软链接和硬链接及系统分区操作
- linux将虚拟地址转物理地址的过程探索[页表]
- Hadoop学习笔记(二)---linux中JDK的安装
- openwrt network bridge 与 port 配置关系
- 关于在linux下用java程序执行linux命令的权限问题
- ubuntu下安装tomcat
- ubuntu下apache和mysql的命令
- 【读书笔记】Linux高性能服务器编程(第一篇 第二章)
- Linux改为单臂路由器
- linux shell 生成随机字符串脚本
- 将Linux系统配置成基本路由器
- AOP 那点事儿
- Linux 权限管理之二:setuid、setgid 和 sticky bit
- CentOS-7-64bit 配置Apache + MySQL + PHP
- JRE System Library [jdk1.7]和Server Library [Apache Tomcat v6.0]为绑定错误解决方案
- Linux Shell脚本攻略(1.8)
- openwrt mt7620a devicetree研究
- VMware Tools在linux下的安装方法
- Hadoop学习---第三篇Hadoop的第一个Mapreduce程序