离线安装Cloudera Manager 5(5.1.3)和CDH5(5.1.3)
2016-09-01 15:26
597 查看
有用的链接:
http://blog.csdn.net/u010022051/article/details/51205765
http://www.tuicool.com/articles/ENjmeaY/
http://www.cnblogs.com/fujiangong/p/5620050.html
关于CDH和Cloudera Manager
CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hive、hdfs、Spark等等。
CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
系统环境
#实验环境:win7下VMware虚拟机
# 操作系统:CentOS 6.8 x64 (至少内存4G以上,将CDH的所有组件全部安装会占用很多内存)
# Cloudera Manager:5.1.3
# CDH: 5.1.3
安装说明
官方参考文档:
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html
官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于各种国外的网站被墙的厉害,各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装非常方便;后期的集群统一包升级也非常好。本文选择第三种离线安装进行相关的描述和说明。
相关包的下载地址
Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.1.3_x86_64.tar.gz,
下载信息:
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvd_topic_1
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS6.8,需要下载以下文件:
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
#manifest.json
注意:与CDH4的不同,原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR),CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。
准备工作:系统环境搭建准备
以下操作均用root用户操作。
1. 网络配置(所有节点)
IP地址使用静态配置,DNS也要配置好,保证能连上公网。
vi /etc/sysconfig/network修改hostname:
NETWORKING=yes
HOSTNAME=master
通过service network restart重启网络服务生效。
vi /etc/hosts,修改ip与主机名的对应关系
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#127.0.0.1 master
# CDH Cluster
172.16.96.210 master
172.16.96.211 slave1
172.16.96.212 slave2
注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。
2.打通SSH,设置ssh无密码登陆(所有节点)
在主从节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys。
将各从节点的公共认证文件也添加到.ssh/authorized_keys 中。在主节点操作:
scp
root@slave1:~/.ssh/id_rsa.pub s1.pub
scp
root@slave2:~/.ssh/id_rsa.pub s2.pub
cat s*.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/authorized_keys
scp文件到所有datenode节点:
scp ~/.ssh/authorized_keys
root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys
root@slave2:~/.ssh/
测试:在主节点上ssh slave1、slave2,正常情况下,不需要密码就能直接登陆进去了。
3.安装Oracle的Java(所有节点)
CentOS,自带OpenJdk,不过运行CDH5需要使用Oracle的Jdk,需要Java 7的支持。
1)、卸载自带的OpenJdk
使用rpm -qa | grep java查询java相关的包,使用rpm -e --nodeps 包名卸载之。
也可yum remove java*(删除自带的java)。
2)、安装jdk(每个节点rpm安装)
去Oracle的官网下载jdk的rpm安装包,并使用rpm -ivh 包名 安装之。
rpm -ivh jdk-7u80-linux-x64.rpm
3)、配置java环境(每个节点配置,也可以一个节点配置完了使用scp分发)
在/etc/profile中加入:
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
备选方案:
由于是rpm包并不需要我们来配置环境变量,我们只需要配置一个全局的JAVA_HOME变量即可,执行命令:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
4)、使节点配置生效(所有节点)
source /etc/profile
4.安装配置MySql(主节点)
通过yum install mysql-server安装mysql服务器。
chkconfig mysqld on设置开机启动,service mysqld start启动mysql服务,并根据提示设置root的初试密码:mysqladmin -u root password '123'。
mysql -uroot -p123进入mysql命令行,创建以下数据库:
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
设置root授权访问以上所有的数据库:
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to
'root'@'master' identified by '123' with grant option;
grant all privileges on *.* to
'root'@'%' identified by '123' with grant option;
flush privileges;
官方MySql配置文档:http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html#cmig_topic_5_5
5.关闭防火墙和SELinux
注意:需要在所有的节点上执行;因为涉及到的端口太多,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。
关闭防火墙:
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
关闭SELINUX:
setenforce 0 (临时生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
6.所有节点配置NTP服务
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:
master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务;所有datanode节点以master节点为基础同步时间。
所有节点安装相关组件:yum install ntp。完成后,配置开机启动:chkconfig ntpd on,检查是否设置成功:chkconfig --list ntpd;其中2-5为on状态就代表成功。
主节点配置
在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。这里选用202.108.6.95(上海交大时间服务器【 ntp.sjtu.edu.cn】被证明也很好用)作为对时中心,ntpdate -u 202.108.6.95。
ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 202.108.6.95 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start
检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出现异常请等待几分钟,一般等待5-10分钟才能同步。
配置ntp客户端(所有datanode节点)
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server master
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ok保存退出,请求服务器前,请先使用ntpdate手动同步一下时间:ntpdate -u master (主节点ntp服务器)
这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:service ntpd start
因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。
查看同步效果
命令:ntpstat
[root@master ~]# ntpstat
synchronised to NTP server (202.108.6.95) at stratum 3
time correct to within 75 ms
polling server every 128 s
------------------------------------------------------------------------------
正式开工之1:安装Cloudera Manager Server 和Agent
主节点解压安装
cloudera manager的目录默认位置在/opt下,解压:tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.1.3和cloudera目录放到/opt目录下。
tar xzvf cloudera-manager*.tar.gz
mv cm-5.1.3/ cloudera/ /opt/
为Cloudera Manager 5建立数据库
首先需要去MySql的官网下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,解压后,找到mysql-connector-java-5.1.39-bin.jar,放到/opt/cm-5.1.3/share/cmf/lib/中。然后,在主节点初始化CM5的数据库:
cp mysql-connector-java-5.1.39-bin.jar /opt/cm-5.1.3/share/cmf/lib/
/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123 --scm-host master scm scm scm
Agent配置
修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
同步Agent到其他节点
scp -r /opt/cm-5.1.3
root@slave1:/opt/
scp -r /opt/cm-5.1.3
root@slave2:/opt
在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
准备Parcels,用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(有时候,parcel-repo需要手动创建)。
相关的文件如下:
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
#manifest.json
最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1,重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。
mv CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha
相关启动脚本
通过/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start 启动服务端。
通过/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start 启动Agent服务。
我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态用status。
正式开工之2:CDH5的安装配置
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了(http://master:7180/cmf/login),默认的用户名和密码均为admin。
安装记录及注意事项:
一般选择免费版本,免费版本的CM5已经没有原来50个节点数量的限制了。
各个Agent节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点继续。
接下来,出现以下对应的包名,说明本地Parcel包配置无误,直接点继续就可以了。
如果配置本地Parcel包无误,那么CDH安装页面的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约10多分钟吧,取决于内网网速。
接下来是服务器检查,可能会遇到以下问题:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
通过echo 0 > /proc/sys/vm/swappiness即可解决。
服务配置,一般情况下保持默认(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置):
接下来是数据库的设置,检查通过后就可以进行下一步的操作了:
下面是集群设置的审查页面,保持默认配置的:
终于到安装各个服务的地方了,注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝:
cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/
服务的安装过程大约半小时内可以完成:
安装完成后,就可以进入集群界面看一下集群的当前状况了。
后记:
可能的问题:
Agent启动后,安装阶段“当前管理的主机”中显示的节点不全,每次刷新显示的都不一样。
Agent的错误日志表现如下:
这是由于在主节点上启动了Agent后,又将Agent scp到了其他节点上导致的,首次启动Agent,它会生成一个uuid,路径为:/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,这样的话每台机器上的Agent的uuid都是一样的了,就会出现紊乱的情况。
解决方案:
删除/opt/cm-5.1.3/lib/cloudera-scm-agent/目录下的所有文件。
清空主节点CM数据库。
http://blog.csdn.net/u010022051/article/details/51205765
http://www.tuicool.com/articles/ENjmeaY/
http://www.cnblogs.com/fujiangong/p/5620050.html
关于CDH和Cloudera Manager
CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hive、hdfs、Spark等等。
CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
系统环境
#实验环境:win7下VMware虚拟机
# 操作系统:CentOS 6.8 x64 (至少内存4G以上,将CDH的所有组件全部安装会占用很多内存)
# Cloudera Manager:5.1.3
# CDH: 5.1.3
安装说明
官方参考文档:
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html
官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于各种国外的网站被墙的厉害,各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装非常方便;后期的集群统一包升级也非常好。本文选择第三种离线安装进行相关的描述和说明。
相关包的下载地址
Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.1.3_x86_64.tar.gz,
下载信息:
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvd_topic_1
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS6.8,需要下载以下文件:
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
#manifest.json
注意:与CDH4的不同,原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR),CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。
准备工作:系统环境搭建准备
以下操作均用root用户操作。
1. 网络配置(所有节点)
IP地址使用静态配置,DNS也要配置好,保证能连上公网。
vi /etc/sysconfig/network修改hostname:
NETWORKING=yes
HOSTNAME=master
通过service network restart重启网络服务生效。
vi /etc/hosts,修改ip与主机名的对应关系
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#127.0.0.1 master
# CDH Cluster
172.16.96.210 master
172.16.96.211 slave1
172.16.96.212 slave2
注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。
2.打通SSH,设置ssh无密码登陆(所有节点)
在主从节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys。
将各从节点的公共认证文件也添加到.ssh/authorized_keys 中。在主节点操作:
scp
root@slave1:~/.ssh/id_rsa.pub s1.pub
scp
root@slave2:~/.ssh/id_rsa.pub s2.pub
cat s*.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/authorized_keys
scp文件到所有datenode节点:
scp ~/.ssh/authorized_keys
root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys
root@slave2:~/.ssh/
测试:在主节点上ssh slave1、slave2,正常情况下,不需要密码就能直接登陆进去了。
3.安装Oracle的Java(所有节点)
CentOS,自带OpenJdk,不过运行CDH5需要使用Oracle的Jdk,需要Java 7的支持。
1)、卸载自带的OpenJdk
使用rpm -qa | grep java查询java相关的包,使用rpm -e --nodeps 包名卸载之。
也可yum remove java*(删除自带的java)。
2)、安装jdk(每个节点rpm安装)
去Oracle的官网下载jdk的rpm安装包,并使用rpm -ivh 包名 安装之。
rpm -ivh jdk-7u80-linux-x64.rpm
3)、配置java环境(每个节点配置,也可以一个节点配置完了使用scp分发)
在/etc/profile中加入:
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
备选方案:
由于是rpm包并不需要我们来配置环境变量,我们只需要配置一个全局的JAVA_HOME变量即可,执行命令:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
4)、使节点配置生效(所有节点)
source /etc/profile
4.安装配置MySql(主节点)
通过yum install mysql-server安装mysql服务器。
chkconfig mysqld on设置开机启动,service mysqld start启动mysql服务,并根据提示设置root的初试密码:mysqladmin -u root password '123'。
mysql -uroot -p123进入mysql命令行,创建以下数据库:
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
设置root授权访问以上所有的数据库:
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to
'root'@'master' identified by '123' with grant option;
grant all privileges on *.* to
'root'@'%' identified by '123' with grant option;
flush privileges;
官方MySql配置文档:http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html#cmig_topic_5_5
5.关闭防火墙和SELinux
注意:需要在所有的节点上执行;因为涉及到的端口太多,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。
关闭防火墙:
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
关闭SELINUX:
setenforce 0 (临时生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
6.所有节点配置NTP服务
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:
master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务;所有datanode节点以master节点为基础同步时间。
所有节点安装相关组件:yum install ntp。完成后,配置开机启动:chkconfig ntpd on,检查是否设置成功:chkconfig --list ntpd;其中2-5为on状态就代表成功。
主节点配置
在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。这里选用202.108.6.95(上海交大时间服务器【 ntp.sjtu.edu.cn】被证明也很好用)作为对时中心,ntpdate -u 202.108.6.95。
ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 202.108.6.95 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start
检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出现异常请等待几分钟,一般等待5-10分钟才能同步。
配置ntp客户端(所有datanode节点)
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server master
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ok保存退出,请求服务器前,请先使用ntpdate手动同步一下时间:ntpdate -u master (主节点ntp服务器)
这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:service ntpd start
因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。
查看同步效果
命令:ntpstat
[root@master ~]# ntpstat
synchronised to NTP server (202.108.6.95) at stratum 3
time correct to within 75 ms
polling server every 128 s
------------------------------------------------------------------------------
正式开工之1:安装Cloudera Manager Server 和Agent
主节点解压安装
cloudera manager的目录默认位置在/opt下,解压:tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.1.3和cloudera目录放到/opt目录下。
tar xzvf cloudera-manager*.tar.gz
mv cm-5.1.3/ cloudera/ /opt/
为Cloudera Manager 5建立数据库
首先需要去MySql的官网下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,解压后,找到mysql-connector-java-5.1.39-bin.jar,放到/opt/cm-5.1.3/share/cmf/lib/中。然后,在主节点初始化CM5的数据库:
cp mysql-connector-java-5.1.39-bin.jar /opt/cm-5.1.3/share/cmf/lib/
/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123 --scm-host master scm scm scm
Agent配置
修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
同步Agent到其他节点
scp -r /opt/cm-5.1.3
root@slave1:/opt/
scp -r /opt/cm-5.1.3
root@slave2:/opt
在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
准备Parcels,用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(有时候,parcel-repo需要手动创建)。
相关的文件如下:
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
#CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
#manifest.json
最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1,重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。
mv CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha
相关启动脚本
通过/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start 启动服务端。
通过/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start 启动Agent服务。
我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态用status。
正式开工之2:CDH5的安装配置
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了(http://master:7180/cmf/login),默认的用户名和密码均为admin。
安装记录及注意事项:
一般选择免费版本,免费版本的CM5已经没有原来50个节点数量的限制了。
各个Agent节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点继续。
接下来,出现以下对应的包名,说明本地Parcel包配置无误,直接点继续就可以了。
如果配置本地Parcel包无误,那么CDH安装页面的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约10多分钟吧,取决于内网网速。
接下来是服务器检查,可能会遇到以下问题:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
通过echo 0 > /proc/sys/vm/swappiness即可解决。
服务配置,一般情况下保持默认(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置):
接下来是数据库的设置,检查通过后就可以进行下一步的操作了:
下面是集群设置的审查页面,保持默认配置的:
终于到安装各个服务的地方了,注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝:
cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/
服务的安装过程大约半小时内可以完成:
安装完成后,就可以进入集群界面看一下集群的当前状况了。
后记:
可能的问题:
Agent启动后,安装阶段“当前管理的主机”中显示的节点不全,每次刷新显示的都不一样。
Agent的错误日志表现如下:
这是由于在主节点上启动了Agent后,又将Agent scp到了其他节点上导致的,首次启动Agent,它会生成一个uuid,路径为:/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,这样的话每台机器上的Agent的uuid都是一样的了,就会出现紊乱的情况。
解决方案:
删除/opt/cm-5.1.3/lib/cloudera-scm-agent/目录下的所有文件。
清空主节点CM数据库。
相关文章推荐
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程(转载)
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(四)数据库安装(单节点)
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)(转载)
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(五)数据库安装(双节点)
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(三)重新分配磁盘空间(可选)
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)
- Cloudera Manager 5和CDH5离线安装
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)
- cdh5使用cloudera-manager-installer.bin离线安装