hadoop分布式集群搭建=两次的总结--包括挂载文件系统

软件园二期：

1 Linux apt-get 软件安装：/article/6984412.html

2 .sh文件即shell文件（可直接运行的脚本文件）
3 centos 修改ip地址,物理地址，网关:http://blog.163.com/windy_dcm/blog/static/19989346201152832323632/

4 linux下大于2TB硬盘格式化及挂载,parted分大于2T的分区方法，parted使用步骤，linux GPT分区表 管理 自动挂载分区：http://hi.baidu.com/visual_art/item/350932debc9e96ec3cc2cb16
5 如何合理地给你的Linux分区: http://wenku.baidu.com/view/4e28b1eb81c758f5f61f67fa.html
6 RPM命令 RPM软件包管理器
英文原义：Redhat Package Manager 中文释义：RPM软件包管理器 ：http://baike.baidu.com/view/209700.htm

7 yum 命令：
linux yum命令详解

8 write命令： write "用户名" 就可以传送信息
9 防火墙命令： 关闭防火墙： iptables -F 有时需要超级管理员权限
10 Secure Shell ： 打开ssh服务：services sshd start
11 reboot：重启；

科研楼二楼： ip地址172.16.14.1 172.16.14.100

1
Linux下Hadoop集群安装详细步骤

/article/9134564.html

2
centos linux 下的jdk安装 jdk-6u26-linux-x64.bin

http://blog.csdn.net/baple/article/details/8255563
3 sshd服务安装及设置：http://www.2cto.com/os/201301/185506.html
4 centos jdk安装与设置：http://www.cnblogs.com/zhaoyx/articles/2475260.html

5 vi编辑器的保存，退出命令：wq
6 问题：ERROR namenode.NameNode: java.io.IOException: Cannot create directory /home/lab301/hadoop-1.0.4/tmp/dfs/name/current
　　http://forum.hadoop.tw/viewtopic.php?f=4&t=726
7 修改文件权限：
　　chmod -R a+w /home/lab301/hadoop-1.0.4/logs/ -R递归方式 a g o a：本人 g同组 o 其它人 rWX 读 写 执行

　　chmod -R a+w /home/lab301/hadoop-1.0.4/tmp/
8 ssh修改是本机访问本机也无需密码：本机无密码：/article/3880027.html
9 hadoop集群上面的测试案例:测试案例：http://hi.baidu.com/hzd2712/item/98591754eb1e399008be1752
10 hadoop dfsadmin -report 报告相应的dataNode节点数
11 出现问题要对主机关掉防火墙： service iptables start
12 出现问题 文件没有删除hdfs tmp
13 配置第二网址：/article/5435227.html
14 查看hdfs上面的文件内容 hdfs dfs -cat ....文件名
15 验证nameNode dataNode jobtarck 等是否开启

16 验证 JPS方法 $
　　jps方法： 查看是否有master上是否启动了这三个进程namenode,secondnamenode,jobtrack,看slave1上是否tasktrack,datanode　　
　　WEB方法： 查看hdfs运行状态,可以通过web界面来访问http://192.168.1.1:50070/dfshealth.jsp;查看map-reduce信息 可以通过web界面来访问
　　 http://192.168.1.1:50030/jobtracker.jsp;下面是直接命令行看到的结果。 补充如果需要修改日志存储路径则需要在conf/Hadoop-env.sh文件中增加

　　export Hadoop_LOG_DIR=/home/xxxx/xxxx即可

ssh:绝对有用：

本机：

master配置

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

ssh localhost # 测试是否可以免密码访问本机

scp ~/.ssh/id_rsa.pub
root@119.188.7.66:~/.ssh/master_id_rsa.pub

ssh-add ~/.ssh/id_rsa

slave1配置

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

ssh localhost # 测试是否可以免密码访问本机

scp ~/.ssh/id_rsa.pub
root@119.188.7.66:~/.ssh/slave1_id_rsa.pub

ssh-add ~/.ssh/id_rsa

slave2配置

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

ssh localhost # 测试是否可以免密码访问本机

scp ~/.ssh/id_rsa.pub
root@119.188.7.66:~/.ssh/slave2_id_rsa.pub

ssh-add ~/.ssh/id_rsa

最后分别：

master

cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_keys

slave1

cat ~/.ssh/main_id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_keys

slave2

cat ~/.ssh/main_id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

最重要的先要看自己能不能无密码登入