Hadoop第二讲

参考资料：Hadoop实战等

三种运行模式：

1.单机模式：安装简单，仅仅用于调试

2.伪分布式模式：在单个节点上同时启动namenode，datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点。

3. 完全分布式模式：正常的Hadoop集群，有多个节点构成。(至少是3个，一个Master，2个Slaves，保证冗余)。



Hadoop的安装过程：

1. 配置Hadoop-env.sh文件



2. 配置core-site.xml文件

主要是用于配置namenode的IP和端口，要是在分布式系统中需要将其中的localhost改为真实的namenode的IP地址



3. 配置hdfs-site.xml文件

指定该节点存放数据的位置(目录需要预先建立)，同时指定该数据块被复制多少份。



4. 配置mapred-site.xml文件

作业跟踪器是MapReduce调度的核心，必须先找到JobTracker，然后才能够提交MapReduce作业，以及对该作业进行控制。在完全分布式的系统中将其中localhost改为机器的真实IP地址即可。



5. 配置ssh，生成秘钥

以便节点之间能够免密码链接进行工作。







6.在名称节点上格式化分布式文件系统



建立用于存放元数据的文件目录等。

7. 启动Hadoop守护进程



8. 监测运行情况



完全分布式模式配置步骤: