您的位置:首页 > 运维架构 > Shell

shell脚本完成hadoop的集群安装

2016-04-11 14:49 706 查看
#!/bin/bash
#步骤:
#1.安装虚拟机,关闭防火墙、selinux
#2.ssh免密码,编辑hosts文件
#3.安装JDK
#4.安装hadoop
#5.修改配置文件
#6.分发hadoop程序到各个节点
#7.启动集群

#准备软件:
#hadoop-2.7.0.tar.gz
#jdk-7u79-linux-x64.rpm
#native_x64
#conf

#----------------------------
#1.安装虚拟机,关闭防火墙、selinux(每个节点都要运行)
#service iptables stop
#setenforce 0

#----------------------------
#2.ssh免密码,编辑hosts文件(以下操作重复都在hd1,hd2,hd3上运行)
# ssh-keygen -t rsa
# ssh-copy-id hd1
# ssh-copy-id hd2
# ssh-copy-id hd3

#----------------------------
#3.安装JDK
scp ./jdk-7u79-linux-x64.rpm root@hd2:/root/soft
scp ./jdk-7u79-linux-x64.rpm root@hd3:/root/soft
rpm -ivh jdk-7u79-linux-x64.rpm
ssh hd2 rpm -ih /root/soft/jdk-7u79-linux-x64.rpm
ssh hd3 rpm -ih /root/soft/jdk-7u79-linux-x64.rpm
source /etc/profile
sleep 1

#----------------------------
#4.安装hadoop
tar -xf hadoop-2.7.0.tar.gz
sleep 1

#----------------------------
#5.修改配置文件和native文件(准备好配置文件,覆盖hadoop目录的配置文件)
cp ./conf/* /root/soft/hadoop-2.7.0/etc/hadoop/
yes | cp -rf /root/soft/native_x64/* /root/soft/hadoop-2.7.0/lib/native/
sleep 1

#----------------------------
#6.分发hadoop程序到各个节点
#把程序拷贝到其它节点
scp -r hadoop-2.7.0/ root@hd2:/root/soft/
scp -r hadoop-2.7.0/ root@hd3:/root/soft/
sleep 1

#----------------------------
#7.启动集群
cd /root/soft/hadoop-2.7.0
yes | ./bin/hdfs namenode -format
./sbin/start-dfs.sh
./sbin/start-yarn.sh
sleep 1
/usr/java/default/bin/jps

#2353 Jps
#1717 NameNode
#2087 ResourceManager
#1908 SecondaryNameNode


附件:脚本,conf文件,native文件

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop 脚本 Linux