CentOS 6.3下hadoop完全分布式配置心得
2013-01-22 15:45
232 查看
花了几天的功夫,终于,完成了hadoop完全分布式模式的配置,总共有四个节点(NameNode,DataNode01、DataNode02、DataNode03)组成,网络拓扑图如下图所示:
配置中,应注意以下几点:
hadoop-env.sh中,应修改JAVA_HOME和HADOOP_PID_DIR=${HADOOP_HOME}/pids,默认情况下,各个进程的pid保存在/tmp目录下,linux倘若清空此目录下内容,我们便无法用stop-all.sh停止各个daemon,因为namenode找不到pid。
切记要关闭个节点的防火墙 chkconfig --level 35 iptables off(表示永久性关闭)
确保/etc/hosts和/etc/sysconfig/network以及通过hostname命令查看的主机名完全一致
运用hadoop的eclipse插件开发MapReduce程序
应用于hadoop版本兼容的插件
Define Hadoop Location 时,主机名最好用IP地址表示
配置中,应注意以下几点:
hadoop-env.sh中,应修改JAVA_HOME和HADOOP_PID_DIR=${HADOOP_HOME}/pids,默认情况下,各个进程的pid保存在/tmp目录下,linux倘若清空此目录下内容,我们便无法用stop-all.sh停止各个daemon,因为namenode找不到pid。
切记要关闭个节点的防火墙 chkconfig --level 35 iptables off(表示永久性关闭)
确保/etc/hosts和/etc/sysconfig/network以及通过hostname命令查看的主机名完全一致
运用hadoop的eclipse插件开发MapReduce程序
应用于hadoop版本兼容的插件
Define Hadoop Location 时,主机名最好用IP地址表示
相关文章推荐
- Hadoop2.6.0完全分布式的安装与配置(Centos)
- CentOS下配置完全分布式hadoop2.6.0-cdh5.6.0(1)
- CentOS下hadoop完全分布式的基础配置
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- centos 6.3下安装Hadoop 2.7.1并配置伪分布式集群
- Centos 7 搭建hadoop-2.6.0和spark1.6.0完全分布式集群教程 (最小化配置)
- centos 6.3下安装Hadoop 2.7.1并配置伪分布式集群
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)
- centOS6.3下的hadoop2.x基本配置(本地模式和伪分布式模式)
- centos 7 系统下进行hadoop-0.20.2的完全分布式配置
- Hadoop完全分布式集群搭建手记(CentOS6.7+Hadoop2.6手把手胸贴胸详细版)
- Hadoop 完全分布式集群配置
- Hadoop(二)CentOS7.5搭建Hadoop2.7.6完全分布式集群
- 搭建hadoop完全分布式集群VM+CentOS+hadoop2.7
- Centos7下Hadoop的配置(单机,伪分布式和集群)
- Centos中安装配置local/standalone模式和伪分布式模式hadoop集群
- hadoop完全分布式模式的安装和配置
- Hadoop集群完全分布式搭建教程-CentOS
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)