Hadoop的单机模式、伪分布式模式和完全分布式模式
2015-09-16 13:31
225 查看
单机(非分布式)模式
这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。
伪分布式运行模式
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
一个机器上,即当namenode,又当datanode,或者说即是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。
完全分布式模式
真正的分布式,由3个及以上的实体机或者虚拟机组件的机群。
这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。
伪分布式运行模式
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
一个机器上,即当namenode,又当datanode,或者说即是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。
完全分布式模式
真正的分布式,由3个及以上的实体机或者虚拟机组件的机群。
相关文章推荐
- 基于OpenSSL自建CA和颁发SSL证书
- Nginx配置error_page 404错误页面
- libevent 服务器框架使用
- 让linux系统支持xfs文件系统
- The operation couldn’t be completed. (Cocoa error 4.)
- Linux的inode的理解
- Linux重要文件
- Linux 获取本地ip
- Apache配置详解
- hdu5438邻接表+topsprt+并查集
- Powershell 查询 Windows 日志
- Powershell 查询 Windows 日志
- shell脚本如何获取当前时间
- Tengine:基于Nginx的衍生版
- 为什么ping不通某网站,但是却可以访问该网站?
- 装机必备:精选十款优秀的Linux应用软件
- 在Linux命令行下运行Matlab
- 9月13日 bash
- Linux Makefile 整理笔记
- linux空间大小及删除文件