hadoop之文件系统HA搭建的配置细节

[hdfs-site.xml]

1.      配置名称服务

dfs.nameservices  名称服务的逻辑名

    <property>

      <name>dfs.nameservices</name>

      <value>aa</value>

    </property>

2.      配置nameservice中的每个namenode

dfs.ha.namenodes.[nameservice ID]

    <property>

      <name>dfs.ha.namenodes.aa</name>

      <value>nn1,nn2</value>

    </property>

在aa名称服务下有俩个节点nn1,和nn2

注意：目前的hadoop2.72只能配置俩个namenode节点

但是最新版本，ha的最小namenodes是两个,但您可以配置更多。由于通信间接费用,建议不超过5个,建议的3个namenodes。

3.      配置每个namenode的rpc地址

    <property>

      <name>dfs.namenode.rpc-address.aa.nn1</name>

      <value>v100:8020</value>

    </property>

    <property>

      <name>dfs.namenode.rpc-address.aa.nn2</name>

      <value>v200:8020</value>

    </property>

4.      配置每个namenode的webui地址

    <property>

      <name>dfs.namenode.http-address.aa.nn1</name>

      <value>v100:50070</value>

    </property>

   

    <property>

      <name>dfs.namenode.http-address.aa.nn2</name>

      <value>v200:50070</value>

    </property>

    <property>

      <name>dfs.namenode.https-address.aa.nn1</name>

      <value>v100:50470</value>

    </property>

   

    <property>

      <name>dfs.namenode.https-address.aa.nn2</name>

      <value>v200:50470</value>

    </property>

https是指我们的namenode的安全机制开启

5.      配置namenode的共享edit的目录

    <property>

      <name>dfs.namenode.shared.edits.dir</name>

      <value>qjournal://v700:8485;v200:8485;v300:8485/aa</value>

    </property>

这个就是我们的jorunal守护进程

6.      配置客户端容灾代理供应商

    <property>

      <name>dfs.client.failover.proxy.provider.rxcd</name>

      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

这个是一个java类

作用：供客户端用来检测哪个namenode是活跃节点

7.      配置HA防护方法名集合

在容灾期间把活跃的名称节点保护起来，QJM（ Quorum Journal Manager）防止脑裂的发生，不存在俩个active node写入数据

    <property>

      <name>dfs.ha.fencing.methods</name>

      <value>shell(/bin/true)</value>

    </property>

8.      配置JN的本地存放数据（edit log）的目录

    <property>

      <name>dfs.journalnode.edits.dir</name>

      <value>/hadoop/hdfs/journal</value>

    </property>

[core.site.xml]

9.      配置hdfs文件系统

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://aa</value>

      <final>true</final>

    </property>