cdh集群安装(提高)

安装准备

介质准备

本文采用parcel包方式安装，需要下载相关的3个文件。

parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/

需要下载如下三个文件



如果采用rpm方式安装，地址为：

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/

系统配置



a) 用户创建

CDH安装建议使用普通用户进行安装，使用root用户安装也可以，安装完成之后如果有其他新普通用户需要使用时，添加到对应的hadoop用户组(默认组为supergroup)即可。

创建用户

# useradd <用户名称>

修改密码

# passwd <用户名称>

b) host配置

安装CDH集群之前，必须配置hosts,将需要添加到集群中的机器配置到hosts中：

# vi /etc/hosts

安装

安装方式选择

CDH通过CM可以选择的安装方式有采用rpm方式和parcel包方式（官方建议采用parcel包方式安装，便于后期升级维护），本文介绍parcel包方式。安装基于CM安装（CM安装部分请参看CDH使用之CM 5.3.x安装）

2、启动http服务


采用parcel包方式安装不需要创建repo文件，浏览器可以访问该地址即可。

启动http 服务
# service httpd start
查看http服务状态
# service httpd status

3、开始安装

此处从CM安装完毕首次打开7180端口界面开始进行安装：



添加主机IP地址，hostname也可以（主机较多情况下可以填crxy[171-179]）,然后点击搜索。



搜索到主机选择需要安装CDH的主机之后点击继续：



添加本地parcel包地址（添加时删除其他默认网络地址），其他存储路径默认。



此处如果没有刷新出对应的CDH版本，检查是否能正常访问parcel包相关3个文件，如果可以正常访问但是仍然没有正常刷新的情况可以重启CM server服务，到cm所在机器执行如下命令:

重启cm server

service cloudera-scm-server restart

重启cm agent

service cloudera-scm-agent restart





点击继续：





开始走进度条，等待一段时间（建议配置内网ip）：



安装完成：



往主机上分配parcel包：



安装完成后开始分配服务组件， 选择自定义（可根据实际需要进行选择）：



服务节点分配（根据主机硬件配置合理配置）：



填写存储目录，点击继续开始首次分配服务：



安装完成之后调转到主页面



服务显示红色的状态，需要添加NTP server时间同步，不适用CDH的时间同步方式关掉即可。如图方式关闭，保存：



状态如下，安装完成。



如果使用普通用户进行安装，主机上切换为普通用户之后，为方便使用hadoop shell命令，可以使用如下方式在hdfs上创建对应的用户（用户名一致）：

创建hdfs用户

sudo -u hdfs hadoop fs -mkdir /user/test11

为hdfs用户赋权

sudo -u hdfs hadoop fs -chown -R test11:test11 /user/test11



4、错误定位



注意：如果安装失败，需要到/etc/yum.repos.d/目录查看是否有多余的repo文件生成，repo文件内容是否正确，然后在点击重试。