hadoop集群部署
2017-09-18 15:01
260 查看
配置用户
设置新账户<登录配置>
useradd hadooppasswd hadoop
设置ip<登录配置>
vim /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static //静态地址 ONBOOT=yes //开机启动 IPADDR=192.168.0.101 //ip地址,不同的机器配不同的ip NETMASK=255.255.255.0 //掩码 GATEWAY=192.168.0.1//网关 DNS1=8.8.8.8
关闭防火墙<登录配置>
查看iptables状态service iptables status
开启/关闭iptables
service iptables start
service iptables stop
查看iptables是否开机启动
chkconfig iptables –list
设置iptables开机启动/不启动
chkconfig iptables on
chkconfig iptables off
安装ssh<登录配置>
sudo yum install openssh-clients配置hosts<分发配置>
vi /etc/hosts
192.168.0.221 hadoop01 192.168.0.222 hadoop02 192.168.0.223 hadoop03 192.168.0.224 hadoop04
2.分发
设置sudoers<分发配置>
hadoop ALL=(ALL) ALL//给hadoop用户添加sudo方法
2.sudo scp
配置免秘钥登录<分发配置><普通用户>
ssh-keygenssh-copy-id hadoop01 hadoop02 //这里要给自己发一个秘钥,因为hadoop所有的通信都是基于ssh的
配置环境变量<分发配置>
sudo vi /etc/profile //使用vi :r可以快速找到路径
export JAVA_HOME=/home/hadoop/b 4000 igdata/jdk1.8.0_144 export HADOOP_HOME=/home/hadoop/bigdata/hadoop-2.6.5 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.分发环境变量配置文件
sudo scp
hadoop配置
切换到普通用户hadoop-env.sh
export JAVA_HOME=$JAVA_HOME//更改为真实路径core-site.xml
//配置默认文件系统(可以fat32,ntfs,这里使用hdfs//配置文件系统的端口,URI
//配置进程临时文件的存储路径
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hdtmp</value> </property>
hdfs-site.xml
//配置hdfs文件备份数量默认是3<property> <name>dfs.replication</name> <value>2</value> </property>
mapred-site.xml.template
记得mv把.template去掉,//设置在哪个框架上跑,默认是local在单机上跑<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
2.分发hadoop文件和jdk文件<分发配置><普通用户>
scp -r
配置slaves
在slaves后面添加如下hadoop02 hadoop03 hadoop04
安装完成
重启机器hdfs格式化
hdfs namenode -format
相关文章推荐
- hadoop集群部署
- 部署Hadoop集群的步骤
- Hadoop集群安装部署与配置
- hadoop集群环境部署之cloudera
- hadoop集群部署
- CentOS 7 集群部署 Hadoop 2.7.3
- Ganglia监控Hadoop集群的安装部署
- centos6.6上hadoop2.6.0集群部署
- Hadoop (CDH4发行版)集群部署 (部署脚本,namenode高可用,hadoop管理)
- (11)Hadoop 2.6.1 集群部署---手工切换HA
- nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署
- saltstack自动部署hadoop集群
- Hadoop2.2集群安装配置-Spark集群安装部署
- hadoop 集群安装(二) HA部署
- 实战CentOS系统部署Hadoop集群服务
- Hadoop环境部署(单节点和集群)
- 部署一个伪分布式的Hadoop集群
- Hadoop集群部署模型纵览1
- hadoop集群环境部署之rsyncd
- 为Spark部署HADOOP2.6的HDFS集群