CetnOs6.7安装CDH5.4.1手记--Hadoop(1)
2017-05-06 13:43
411 查看
前几天因为项目需求,重新安装一遍CDH,这次的安装是基于CentOs Linux 6.7,一路安装完,难免再次碰到很多问题,随手记录上,供下次参考。
1、安装条件与软件准备
1-1)硬件配置:2台塔式小型服务器,配置不高,内容只有8G,硬盘1T;
1-2)软件:软件的匹配是个头痛的事情,由于CDH发行版本更新太快,归档的安装包(包括CM和CDH)版本也很多,我之前安装了好多个版本,都碰到问题,这次采用的是CM+CDH5.4.1的版本,并且采用离线安装(在线安装受限网络访问,太慢了),我准备的软件如下:
1-3)软件下载:
大有也可以根据自己 需要,自动到网上下载:
(a) CM下载地址:
http://archive-primary.cloudera.com/cm5/cm/5/
但这个地址已经不提供5.9.2以前的版本的压缩包了,我是提前就准备了压缩包。
(b)CDH下载地址:
http://archive.cloudera.com/cdh5/
这里根据自己的需要选择相应的版本下载,我这里准备了的是这3个文件件:
(c)JDK下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
(d)Mysql connector下载地址:
http://dev.mysql.com/downloads/connector/j/
附:大家可以直接到我准备好的百度云盘上去下啊,但建议新手还是要对CM和CDH版本匹配顺问题,好好研究下!百度云盘地址:
(稍后上传,文件有点大)
2、安装前的系统配置
(注:所有的安装都用的root用户操作,但生产环境就不一定了)
2-1)配置主机名与ip地址对应关系,修改/etc/hosts文件,将节点ip也主机名对应(在所有节点上做同样的操作):
2-2)配置SSH名密钥登录(主要是在主节点上操作:hadoop1.oaec.com)
通过以下方式验证是否不需要输入密码:
2-3)关闭Linux系统防火墙和selinux
防火墙服务关闭与禁止自动重启:
关闭selinux:
编程文件:/etc/sysconfig/selinux:
2-4)配置两个系统文件:
第一个文件:/etc/security/limits.conf,编辑它,将以下内容放到文件里(放在最后面):
第二个文件:/etc/pam.d/login,编辑它,将下面这条放入文件:
2-5)JDK安装(虽然在安装CDH的时候会安装JDK,还是提前配置一下好);先检查Linux系统是否有opdnjdk,如果有,将这它删掉:
查询到有openjdk:
删除openjdk:
安装准备了的jdk:
安装完后,会在/usr/java/目录下自动目录:
2-6)必须安装的几个系统包
1、安装条件与软件准备
1-1)硬件配置:2台塔式小型服务器,配置不高,内容只有8G,硬盘1T;
1-2)软件:软件的匹配是个头痛的事情,由于CDH发行版本更新太快,归档的安装包(包括CM和CDH)版本也很多,我之前安装了好多个版本,都碰到问题,这次采用的是CM+CDH5.4.1的版本,并且采用离线安装(在线安装受限网络访问,太慢了),我准备的软件如下:
1-3)软件下载:
大有也可以根据自己 需要,自动到网上下载:
(a) CM下载地址:
http://archive-primary.cloudera.com/cm5/cm/5/
但这个地址已经不提供5.9.2以前的版本的压缩包了,我是提前就准备了压缩包。
(b)CDH下载地址:
http://archive.cloudera.com/cdh5/
这里根据自己的需要选择相应的版本下载,我这里准备了的是这3个文件件:
(c)JDK下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
(d)Mysql connector下载地址:
http://dev.mysql.com/downloads/connector/j/
附:大家可以直接到我准备好的百度云盘上去下啊,但建议新手还是要对CM和CDH版本匹配顺问题,好好研究下!百度云盘地址:
(稍后上传,文件有点大)
2、安装前的系统配置
(注:所有的安装都用的root用户操作,但生产环境就不一定了)
2-1)配置主机名与ip地址对应关系,修改/etc/hosts文件,将节点ip也主机名对应(在所有节点上做同样的操作):
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.0.152 hadoop1.oaec.com 192.168.0.153 hadoop2.oaec.com
2-2)配置SSH名密钥登录(主要是在主节点上操作:hadoop1.oaec.com)
ssh-keygen -t rsa --直接回车 ssh-copy-id hadoop1.oaec.com (将密钥拷贝到节点1) ssh-copy-id hadoop2.oaec.com (将密钥拷贝到节点2)
通过以下方式验证是否不需要输入密码:
2-3)关闭Linux系统防火墙和selinux
防火墙服务关闭与禁止自动重启:
service iptables stop chkconfig iptables off
关闭selinux:
编程文件:/etc/sysconfig/selinux:
将 SELINUX=enforcing 改成 SELINUX=disabled
2-4)配置两个系统文件:
第一个文件:/etc/security/limits.conf,编辑它,将以下内容放到文件里(放在最后面):
root soft nproc 102400 root hard nproc 163840 root soft nofile 102400 root hard nofile 655360 root soft stack 102400
第二个文件:/etc/pam.d/login,编辑它,将下面这条放入文件:
session required pam_limits.so
2-5)JDK安装(虽然在安装CDH的时候会安装JDK,还是提前配置一下好);先检查Linux系统是否有opdnjdk,如果有,将这它删掉:
查询到有openjdk:
rpm -qa|grep openjdk java-1.8.0-openjdk-1.8.0.45-35.b13.el6.x86_64 java-1.6.0-openjdk-devel-1.6.0.35-1.13.7.1.el6_6.x86_64 java-1.7.0-openjdk-devel-1.7.0.79-2.5.5.4.el6.x86_64 java-1.6.0-openjdk-javadoc-1.6.0.35-1.13.7.1.el6_6.x86_64 java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64 java-1.8.0-openjdk-headless-1.8.0.45-35.b13.el6.x86_64 java-1.8.0-openjdk-devel-1.8.0.45-35.b13.el6.x86_64 java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
删除openjdk:
rpm -e --nodeps java-1.6.0-openjdk rpm -e --nodeps java-1.7.0-openjdk rpm -e --nodeps java-1.8.0-openjdk rpm -e --nodeps ldapjdk-4.18-6.el6.x86_64 rpm -e --nodeps java-1.8.0-openjdk-devel rpm -e --nodeps java-1.7.0-openjdk-devel rpm -e --nodeps java-1.6.0-openjdk-javadoc rpm -e --nodeps java-1.8.0-openjdk-headless rpm -e --nodeps java-1.6.0-openjdk-devel
安装准备了的jdk:
安装完后,会在/usr/java/目录下自动目录:
2-6)必须安装的几个系统包
yum -y install psmisc yum -y install libxslt yum -y install screen yum -y install telnet
相关文章推荐
- Hadoop+Mahout安装手记
- CentOS 安装 Hadoop 手记
- CentOS 安装 Hadoop 手记
- Hadoop安装手记(ubuntu环境)
- Hadoop安装手记
- hadoop集群安装手记
- CDH安装Hadoop 手记——之支线任务
- hadoop hive安装手记(转)
- CDH 方式安装 Hadoop 手记
- Hadoop 单节点 & 伪分布 安装手记
- KVM下centOS6.5+HADOOP2.7.1+zookeeper3.4.6+hbase-1.2.4安装手记
- W2K下安装 MYSQL 4.0.21 手记
- PHP4在中文WIN2000的IIS5下安装手记
- Red Hat Linux 7.0安装使用手记(六则)
- WTL 7.5-4291 安装手记
- AspNetForums1.0安装手记
- Linux + JDK + Tomcat + MySQL + JDBC 安装手记
- redhat as 3.0 上以中文安装oracle 9i 9.2.0.4过程手记
- RedFlag desktop 4.1 正式版安装手记
- redhat as 3.0 上以中文安装oracle 9i 9.2.0.4过程手记