第一章:hadoop1-hdfs完全分布式模式实验

1 安装hdfs-完整分布式模式

1.1 环境

192.168.118.142:node1 NameNode

192.168.118.143:node2
Secondary NameNode，DataNode

192.168.118.144:node3 DataNode

1.2 解压hadoop1.2

1.3 配置NameNode以及HOME目录

1. 编辑conf/core-site.xml文件,详细配置可以参考core-default.html帮助文档



2. 创建家目录

mkdir -p /root/hadoop1.2/home/dfs/name

1.4 配置HDFS

编辑conf/hdfs-site.xml文件，详细配置可以参考hdfs-default帮助文档

1.5 配置DataNode

编辑slaves文件，添加DataNode

1.6 配置Secondary NameNode

编辑masters文件，添加Secondary NameNode

1.7 配置环境

1. 编辑conf/hadoop-env.sh,配置JAVA_HOME

2. 关闭各个节点的防火墙

3. $bin/hadoop namenode -format #格式化目录

1.8 配置NameNode ssh连接DataNode忽略密码

1. $ ssh-keygen-t dsa -P '' -f ~/.ssh/id_dsa #生成公钥和私钥，所有忽略的Node都执行

2. $ scp -rid_dsa.pub root@node2:~ #将公钥copy到node2节点

3. $ cat~/id_dsa.pub >> ~/.ssh/authorized_keys #node2添加公钥,其他节点重复2，3

1.9 启动hdfs

./bin/start-dfs.sh

#重新启动datanode

./bin/hadoop-daemons.sh --config conf--hosts slaves start datanode

访问http://192.168.118.142:50070/即可

2 配置MapReduce环境

2.1 配置JobTracker

编辑conf/mapred-site.xml

2.2 配置TaskTracker

默认不用配置，默认以datanode节点作为tasktracker

2.3 启动

./bin/start-all.sh

访问http://192.168.118.142:50030