HDFS HA系列实验之经验总结
2014-05-13 15:23
232 查看
1:Hadoop HA启动流程图
![](http://img0.ph.126.net/_k8YqTL5mA5sim5sKJLNYg==/1262696745624055737.png)
注意,如果是使用JournalNode保存EditLog,那么除了第一次需要格式化HDFS需要手工先启动;正常使用的hadoop集群不需要手工启动JournalNode,因为start-dfs.sh中已经含有启动JournalNode的脚本。
2:hdfs.xml配置要注意的地方
![](http://img2.ph.126.net/bmYLakO34rXT55fCd4sU_w==/6597332549937218585.jpg)
3:NFS配置客户端的NFS用户UID、GID要和服务器上的用户UID、GID最好一致,至少要UID一致;所以在客户端创建NFS用户的时候,先查看一下服务器端用户的UID、GID,然后在客户端用groupadd -g GID命令创建用户组,用useradd -u UID命令创建用户。
4:使用Zoopkeeper自动切换NN节点时,需要提供自动切换的办法:sshfence或shell。通过配置参数 dfs.ha.fencing.methods 来完成。具体的做法可以参考:HDFS High Availability Using the Quorum Journal Manager 。如本实验中用了sshfence方法,配置如下:
5:Java版本的问题实验中最初使用JDK7UP45,出现以下expect。。。错误,后来改成JDKUP21就不再出现,所以需要选择合适的JDK。
6:关于ssh免密码的操作步骤A:先在各节点用要设置免密码的用户登录B:设置每台机器的/etc/ssh/sshd_config文件中的RSA设置,取消其注释
![](http://img0.ph.126.net/_k8YqTL5mA5sim5sKJLNYg==/1262696745624055737.png)
注意,如果是使用JournalNode保存EditLog,那么除了第一次需要格式化HDFS需要手工先启动;正常使用的hadoop集群不需要手工启动JournalNode,因为start-dfs.sh中已经含有启动JournalNode的脚本。
2:hdfs.xml配置要注意的地方
![](http://img2.ph.126.net/bmYLakO34rXT55fCd4sU_w==/6597332549937218585.jpg)
3:NFS配置客户端的NFS用户UID、GID要和服务器上的用户UID、GID最好一致,至少要UID一致;所以在客户端创建NFS用户的时候,先查看一下服务器端用户的UID、GID,然后在客户端用groupadd -g GID命令创建用户组,用useradd -u UID命令创建用户。
4:使用Zoopkeeper自动切换NN节点时,需要提供自动切换的办法:sshfence或shell。通过配置参数 dfs.ha.fencing.methods 来完成。具体的做法可以参考:HDFS High Availability Using the Quorum Journal Manager 。如本实验中用了sshfence方法,配置如下:
<property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property>
5:Java版本的问题实验中最初使用JDK7UP45,出现以下expect。。。错误,后来改成JDKUP21就不再出现,所以需要选择合适的JDK。
6:关于ssh免密码的操作步骤A:先在各节点用要设置免密码的用户登录B:设置每台机器的/etc/ssh/sshd_config文件中的RSA设置,取消其注释
RSAAuthentication yes PubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keysC:在各节点用ssh-keygen -t rsa 生成密钥对D:将各节点id_rsa.pub文件合并成一个文件authorized_keys,并发放给各个节点,注意authorized_keys文件的属性是600。合并和发放一般在master节点运行,可以用如下命令:
ssh 节点名 cat /home/用户名/.ssh/id_rsa.pub >> /home/用户名/.ssh/ authorized_keys scp /home/用户名/.ssh/ authorized_keys 节点名:/home/用户名/.ssh/.E:选取其中一个节点,一般是master节点,用ssh 各节点 date 一次,生成 known_hosts文件,然后将 known_hosts文件发放给各节点,代码如下:
ssh 节点名1 date ssh 节点名2 date 。。。。 scp /home/用户名/.ssh/known_hosts 节点名:/home/用户名/.ssh/.F:没问题的话,各个节点之间都可以免密码了
相关文章推荐
- HDFS HA系列实验之经验总结
- 《毕业生》系列之六 经验总结
- vmware经验总结--2.VMWare系列软件的安装
- 软件工程控制经验总结系列之一 - 软件工程控制总论
- vmware经验总结--2.VMWare系列软件的安装
- VC简单入门系列实验及知识点总结
- HDFS HA系列实验之一:基础环境搭建
- 如何从零开始开发一款嵌入式产品(20年的嵌入式经验分享学习,来自STM32神舟系列开发板设计师的总结)
- HDFS HA系列实验之七:NN故障转移处理
- 九、Spring Cloud系列:实战经验总结
- 软件project经验总结系列之三 - 计划阶段控制
- 项目管理系列:保证项目按进度实施的经验总结1
- IT人必备:实用项目管理系列订餐系统实例化教学(Java版,10年IT经验总结,涉及测试
- NA-NP-IE系列实验10:ip classless及总结
- 软件工程经验总结系列之三 - 计划阶段控制
- 如何从零开始开发一款嵌入式产品(20年的嵌入式经验分享学习,来自STM32神舟系列开发板设计师的总结)
- 最近在学校的山寨试验箱上做2440裸机实验的经验总结
- 【STM32神舟I号】3.从零开始开发一款嵌入式产品经验总结(20年经验的STM32神舟系列开发板设计师)
- word2vec实验经验总结
- ObjectDataSource与GridView配合使用经验总结系列二:分页