大数据1-Hadoop双namenode配置搭建(HA)
2017-11-11 16:00
417 查看
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。
Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下:
core-site.xml
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hdfs-site.xml
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
mapred-site.xml
2
3
4
yarn-site.xml
2
3
4
5
6
7
8
9
10
11
12
13
14
hadoop-env.sh添加如下内容
2
3
yarn-env.sh添加如下内容
注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了
1、首先启动各个节点的Zookeeper,在各个节点上执行以下命令:
2、在某一个namenode节点执行如下命令,创建命名空间
3、在每个journalnode节点用如下命令启动journalnode
4、在主namenode节点用格式化namenode和journalnode目录
5、在主namenode节点启动namenode进程
6、在备namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!
2
7、在两个namenode节点都执行以下命令
8、在所有datanode节点都执行以下命令启动datanode
2
首先在浏览器分别打开两个节点的namenode状态,其中一个显示active,另一个显示standby
然后在active所在的namenode节点执行jps,杀掉相应的namenode进程
前面standby所对应的namenode变成active
2017-03-05更新
Hadoop配置了HA,Spark也需要更改一些配置,否则会报java.net.UnknownHostException的错误,就是在$SPARK_HOME/conf/spark-defaults.conf内添加如下内容:
Men were born to be suffering, the pain of struggle, or the pain of regret?
Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。
配置Hadoop文件
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下:core-site.xml
<!-- 指定hdfs的nameservice为ns --> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> <!--指定hadoop数据临时存放目录--> <property> <name>hadoop.tmp.dir</name> <value>/data/install/hadoop-2.7.3/temp</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!--指定zookeeper地址--> <property> <name>ha.zookeeper.quorum</name> <value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value> </property>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hdfs-site.xml
<!--指定hdfs的nameservice为ns,需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>ns</value> </property> <!-- ns下面有两个NameNode,分别是nn1,nn2 --> <property> <name>dfs.ha.namenodes.ns</name> <value>nn1,nn2</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns.nn1</name> <value>master1:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.ns.nn1</name> <value>master1:50070</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns.nn2</name> <value>master2:9000</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.ns.nn2</name> <value>master2:50070</value> </property> <!-- 指定NameNode的元数据在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://slave1:8485;slave2:8485;slave3:8485/ns</value> </property> <!-- 指定JournalNode在本地磁盘存放数据的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/data/install/hadoop-2.7.3/journal</value> </property> <!-- 开启NameNode故障时自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失败自动切换实现方式 --> <property> <name>dfs.client.failover.proxy.provider.ns</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制,如果ssh是默认22端口,value直接写sshfence即可 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence(hadoop:22022)</value> </property> <!-- 使用隔离机制时需要ssh免登陆 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/data/install/hadoop-2.7.3/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/data/install/hadoop-2.7.3/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 --> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>1
2
3
4
yarn-site.xml
<!-- 指定nodemanager启动时加载server的方式为shuffle server --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- 指定resourcemanager地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>master1</value> </property>1
2
3
4
5
6
7
8
9
10
11
12
13
14
hadoop-env.sh添加如下内容
export JAVA_HOME=/data/install/jdk # ssh端口非默认22端口 export HADOOP_SSH_OPTS="-p 22022"1
2
3
yarn-env.sh添加如下内容
export JAVA_HOME=/data/install/jdk1
启动命令
注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了
首次启动命令
1、首先启动各个节点的Zookeeper,在各个节点上执行以下命令:bin/zkServer.sh start1
2、在某一个namenode节点执行如下命令,创建命名空间
hdfs zkfc -formatZK1
3、在每个journalnode节点用如下命令启动journalnode
sbin/hadoop-daemon.sh start journalnode1
4、在主namenode节点用格式化namenode和journalnode目录
hdfs namenode -format ns1
5、在主namenode节点启动namenode进程
sbin/hadoop-daemon.sh start namenode1
6、在备namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!
hdfs namenode -bootstrapStandby sbin/hadoop-daemon.sh start namenode1
2
7、在两个namenode节点都执行以下命令
sbin/hadoop-daemon.sh start zkfc1
8、在所有datanode节点都执行以下命令启动datanode
sbin/hadoop-daemon.sh start datanode1
日常启停命令
sbin/start-dfs.sh sbin/stop-dfs.sh1
2
测试验证
首先在浏览器分别打开两个节点的namenode状态,其中一个显示active,另一个显示standby然后在active所在的namenode节点执行jps,杀掉相应的namenode进程
前面standby所对应的namenode变成active
2017-03-05更新
Hadoop配置了HA,Spark也需要更改一些配置,否则会报java.net.UnknownHostException的错误,就是在$SPARK_HOME/conf/spark-defaults.conf内添加如下内容:
spark.files file:///data/install/hadoop-2.7.3/etc/hadoop/hdfs-site.xml,file:///data/install/hadoop-2.7.3/etc/hadoop/core-site.xml1
Men were born to be suffering, the pain of struggle, or the pain of regret?
相关文章推荐
- Hadoop双namenode配置搭建(HA)
- Hadoop双namenode配置搭建(HA)
- Hadoop双namenode配置搭建(HA)
- hadoop集群搭建(一)HDFS的namenode的HA搭建
- zookeeper集群的搭建以及hadoop ha的相关配置
- 第九章 搭建Hadoop 2.2.0版本HDFS的HA配置
- hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误
- hadoop之文件系统HA搭建的配置细节
- Hadoop大数据平台搭建与环境配置
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- hadoop2.6.4 搭建HA集群之后不能自动切换namenode
- hadoop搭建HA集群之后不能自动切换namenode
- 【3】搭建HA高可用hadoop-2.3(部署配置hadoop--cdh5.1.0)
- hadoop集群搭建二: hadoop+zookeeper 配置namenode与resourcemanager的高可用
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性
- 大数据之路-Hadoop-3-hadoop HA集群搭建