hadoop+nfs+zookeeper搭建集群
2017-10-24 23:44
225 查看
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。
Hadoop、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz
zookeeper-3.4.9.tar.gz
jdk-7u79-linux-x64.tar.gz
nfs-utils
hadoop下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
zookeeper下载地址:http://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
nfs-utils直接使用yum源安装
配置slaves文件
其它NFS共享节点
编辑 zoo.cfg 文件
需要在dataDir目录即/tmp/zookeeper目录中创建 myid 文件,写入一个唯一的数字,数字为zoo.cfg中server.? 最后面的数字
在各节点启动服务
启动成功如下:
访问172.25.21.1:50070 和172.25.21.5:50070
可以看到server5为active,server1为standby
现在172.25.21.5:50070无法访问
这样hadoop和zookeeper组成集群就搭建完成。
在server1上
测试:
连接172.25.21.1:8088 和 172.25.21.10:8088
HBase Master 默认端口时 16000,还有个 web 界面默认在 Master 的 16010 端口上,HBase RegionServers 会默认绑定 16020 端口,在端口 16030 上有一个展示信息的界面。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。
测试环境
系统环境:RHEL6.5、selinux and iptables is disabledHadoop、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz
zookeeper-3.4.9.tar.gz
jdk-7u79-linux-x64.tar.gz
nfs-utils
hadoop下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
zookeeper下载地址:http://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
nfs-utils直接使用yum源安装
安装jdk
tar zxf jdk-7u79-linux-x64.tar.gz ln -s jdk1.7.0_79/ jdk
vim ~/.bash_profile ##添加环境变量到PATH的后面,和前面的用":"隔开 PATH=$PATH:$HOME/bin:/root/jdk/bin
source ~/.bash_profile
安装配置hadoop
tar zxf hadoop-2.7.3.tar.gz ln -s hadoop-2.7.3 hadoop cd hadoop
ps:hadoop和jdk的版本需要匹配,本文的jdk版本并不支持hadoop-2.7.4,我踩过的坑,大家就不要踩了!
HDFS高可用
配置 core-site.xml 文件
[hadoop@server1 hadoop]$ vim etc/hadoop/core-site.xml <!-- 指定 hdfs 的 namenode 为 masters (名称可自定义)--> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://masters</value> </property> <!-- 指定 zookeeper 集群主机地址 --> <property> <name>ha.zookeeper.quorum</name> <value>172.25.21.2:2181,172.25.21.3:2181,172.25.21.4:2181</value> </property> </configuration>
配置 hdfs-site.xml 文件
vim etc/hadoop/hdfs-site.xml <!-- 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一致 --> <configuration> <property> <name>dfs.nameservices</name> <value>masters</value> </property> <!-- masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)--> <property> <name>dfs.ha.namenodes.masters</name> <value>h1,h2</value> </property> <!-- 指定 h1 节点的 rpc 通信地址 --> <property> <name>dfs.namenode.rpc-address.masters.h1</name> <value>172.25.21.1:9000</value> </property> <!-- 指定 h1 节点的 http 通信地址 --> <property> <name>dfs.namenode.http-address.masters.h1</name> <value>172.25.21.1:50070</value> </property> <!-- 指定 h2 节点的 rpc 通信地址 --> <property> <name>dfs.namenode.rpc-address.masters.h2</name> <value>172.25.21.5:9000</value> </property> <!-- 指定 h2 节点的 http 通信地址 --> <property> <name>dfs.namenode.http-address.masters.h2</name> <value>172.25.21.5:50070</value> </property> <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://172.25.21.2:8485;172.25.21.3:8485;172.25.21.4:8485/masters</value> </property> <!-- 指定 JournalNode 在本地磁盘存放数据的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/tmp/journaldata</value> </property> <!-- 开启 NameNode 失败自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失败自动切换实现方式 --> <property> <name>dfs.client.failover.proxy.provider.masters</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制方法,每个机制占用一行--> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <!-- 使用 sshfence 隔离机制时需要 ssh 免密码 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <!-- 配置 sshfence 隔离机制超时时间 --> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property> </configuration>
配置slaves文件
vim etc/hadoop/slaves 172.25.21.2 172.25.21.3 172.25.21.4
配置各节点nfs同步
vim /etc/exports /home/hadoop *(rw,anonuid=1000,anongid=1000)
# /etc/init.d/rpcbind start Starting rpcbind: [ OK ] # /etc/init.d/nfs start Starting NFS services: [ OK ] Starting NFS mountd: [ OK ] Starting NFS daemon: [ OK ] Starting RPC idmapd: [ OK ] # showmount -e Export list for server1: /home/hadoop * # exportfs -v /home/hadoop <world>(rw,wdelay,root_squash,no_subtree_check,anonuid=1000,anongid=1000)
其它NFS共享节点
# useradd -u 1000 hadoop #创建用户 # mount 172.25.21.1:/home/hadoop/ /home/hadoop/ #挂载 # df -h #查看挂载状态 Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root 19G 907M 17G 6% / tmpfs 246M 0 246M 0% /dev/shm /dev/vda1 485M 33M 427M 8% /boot 172.25.21.1:/home/hadoop/ 19G 2.1G 16G 12% /home/hadoop # su - hadoop #进入创建的用户 $ ls #查看文件是否挂载成功 hadoop hadoop-2.7.4.tar.gz jdk1.7.0_79 hadoop-2.7.4 jdk jdk-7u79-linux-x64.tar.gz
安装zookeeper(存储节点,至少三个)
tar zxf zookeeper-3.4.9.tar.gz
编辑 zoo.cfg 文件
cd /home/hadoop/zookeeper-3.4.9/conf cp zoo_sample.cfg zoo.cfg
vim zoo.cfg #最后面添加 server.1=172.25.21.2:2888:3888 server.2=172.25.21.3:2888:3888 server.3=172.25.21.4:2888:3888
需要在dataDir目录即/tmp/zookeeper目录中创建 myid 文件,写入一个唯一的数字,数字为zoo.cfg中server.? 最后面的数字
mkdir /tmp/zookeeper cd /tmp/zookeeper echo 1 > myid #其它两个节点分别为2和3
在各节点启动服务
[hadoop@server2 zookeeper-3.4.9]$ pwd /home/hadoop/zookeeper-3.4.9 [hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg Mode: follower
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg Mode: leader
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg Mode: follower
启动 hdfs 集群(按顺序启动)
在三个 DN 上启动 zookeeper 集群(前面已启动可跳到下一步)
bin/zkServer.sh start
启动成功如下:
[hadoop@server2 zookeeper-3.4.9]$ jps 1703 Jps 1618 QuorumPeerMain
在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)
[hadoop@server2 hadoop]$ pwd /home/hadoop/hadoop [hadoop@server2 hadoop]$ sbin/hadoop-daemon.sh start #其它两个同样启动
在h1上格式化 HDFS 集群
[hadoop@server1 hadoop]$ pwd /home/hadoop/hadoop bin/hdfs namenode -format
#Namenode 数据默认存放在/tmp,需要把数据拷贝到 h2 scp -r /tmp/hadoop-hadoop 172.25.0.5:/tmp
在h1上格式化 zookeeper
bin/hdfs zkfc -formatZK
在h1上启动 hdfs 集群
sbin/start-dfs.sh
[hadoop@server1 hadoop]$ sbin/start-dfs.sh Starting namenodes on [server1 server5] server1: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-server1.out server5: namenode running as process 1706. Stop it first. 172.25.21.4: datanode running as process 2157. Stop it first. 172.25.21.3: datanode running as process 2125. Stop it first. 172.25.21.2: datanode running as process 2377. Stop it first. Starting journal nodes [172.25.21.2 172.25.21.3 172.25.21.4] 172.25.21.4: journalnode running as process 2072. Stop it first. 172.25.21.2: journalnode running as process 2291. Stop it first. 172.25.21.3: journalnode running as process 2040. Stop it first. Starting ZK Failover Controllers on NN hosts [server1 server5] server1: starting zkfc, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-zkfc-server1.out server5: zkfc running as process 1838. Stop it first.
访问172.25.21.1:50070 和172.25.21.5:50070
可以看到server5为active,server1为standby
测试
[hadoop@server5 tmp]$ jps 1838 DFSZKFailoverController 2221 Jps 1706 NameNode [hadoop@server5 tmp]$ kill -9 1706
现在172.25.21.5:50070无法访问
[hadoop@server5 hadoop]$ sbin/hadoop-daemon.sh start namenode #启动刚才关闭的namenode starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-server5.out
这样hadoop和zookeeper组成集群就搭建完成。
yarn 的高可用
配置 mapred-site.xml 文件在server1上
[hadoop@server1 hadoop]$ pwd /home/hadoop/hadoop [hadoop@server1 hadoop]$ cd etc/hadoop/
vim mapred-site.xml <configuration> <!-- 指定 yarn 为 MapReduce 的框架 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
vim yarn-site.xml <configuration> <!-- 配置可以在 nodemanager 上运行 mapreduce 程序 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 激活 RM 高可用 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property><!-- 指定 RM 的集群 id --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>RM_CLUSTER</value> </property> <!-- 定义 RM 的节点--> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 指定 RM1 的地址 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>172.25.21.1</value> </property> <!-- 指定 RM2 的地址 --> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>172.25.21.5</value> </property> <!-- 激活 RM 自动恢复 --> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore--> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</ value> </property> <!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>172.25.21.2:2181,172.25.21.3:2181,172.25.21.4:2181</value> </property> </configuration>
启动 yarn 服务
rm1上 sbin/start-yarn.sh jps 2660 DFSZKFailoverController 2900 ResourceManager 3177 Jps 1515 NameNode
rm2上 sbin/yarn-daemon.sh start resourcemanager jps 1479 NameNode 1854 ResourceManager 1899 Jps 1710 DFSZKFailoverController
测试:
连接172.25.21.1:8088 和 172.25.21.10:8088
hbase分布式部署
tar zxf hbase-1.2.4-bin.tar.gz cd hbase-1.2.4
vim conf/hbase-env.sh export JAVA_HOME=/home/hadoop/jdk #指定jdk export HBASE_MANAGES_ZK=false #默认值时 true,hbase 在启动时自动开启 zookeeper,如需自己维护zookeeper集群需设置为false export HADOOP_HOME=/home/hadoop/hadoop #指定 hadoop 目录,否则hbase无法识别 hdfs 集群配置。
vim conf/hbase-site.xml <configuration> <!-- 指定 region server 的共享目录,用来持久化 HBase。这里指定的 HDFS 地址是要跟 core-site.xml 里面的fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 --> <property> <name>hbase.rootdir</name> <value>hdfs://masters/hbase</value> </property> <!-- 启用 hbase 分布式模式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- Zookeeper 集群的地址列表,用逗号分割。默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。 --> <property> <name>hbase.zookeeper.quorum</name> <value>172.25.21.11,172.25.21.12,172.25.21.13</value> </property> <!-- 指定数据拷贝 2 份,hdfs 默认是 3 份。 --> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 指定 hbase 的 master --> <property><name>hbase.master</name> <value>h1</value> </property> </configuration>
vim conf/regionservers 172.25.21.11 172.25.21.12 172.25.21.13
启动 hbase
pwd /home/hadoop/hbase-1.2.4 bin/start-hbase.sh jps 1479 NameNode 2417 ResourceManager 1710 DFSZKFailoverController 2770 Jps 2498 HMaster #hbase进程
备节点运行:
bin/hbase-daemon.sh start master
HBase Master 默认端口时 16000,还有个 web 界面默认在 Master 的 16010 端口上,HBase RegionServers 会默认绑定 16020 端口,在端口 16030 上有一个展示信息的界面。
相关文章推荐
- Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建
- Hadoop集群(一) Zookeeper搭建
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- 第二章:hadoop2+HA+Zookeeper QJM集群搭建实验
- CentOS7搭建 Hadoop + HBase + Zookeeper集群
- 分布式集群环境hadoop1.2.0、hbase0.94.4、zookeeper、elasticsearch搭建2
- hadoop1.2.1+zookeeper3.4.6+hbase0.94集群环境搭建
- Hadoop+Spark+Zookeeper 集群搭建
- [置顶] 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- Hadoop之——搭建ZooKeeper服务器集群
- hadoop+hbase+zookeeper 分布式集群搭建完美运行
- hadoop, hbase, zookeeper集群搭建
- hadoop集群搭建之NFS服务
- HBase0.99.2集群的搭建步骤(在hadoop2.6.4集群和zookeeper3.4.5集群上)
- 基于centos7搭建hadoop+zookeeper+hbase大数据集群
- hadoop之zookeeper集群搭建
- Hadoop2.2.0 HA + Jdk1.8.0 + Zookeeper3.4.5 + Hbase0.98 集群搭建详细过程(服务器集群)
- Hadoop集群(一) Zookeeper搭建