cdh安装文档
2017-02-14 16:09
323 查看
1.集群卸载
执行命令 yum remove hbase (装有hbase的节点)yum remove zookeeper(装有zookeeper的节点)
yum remove hadoop
检查以下目录 /usr/lib/hadoop* /var/log/hadoop* /var/lib/hadoop* /usr/bin/hadoop* /etc/hadoop /tmp/hadoop* /etc/default/hadoop* /var/run/hadoop* /usr/share/doc/hadoop* /usr/src/debug/hadoop* /usr/lib/debug/usr/lib/hadoop* 是否存在残余文件,如果有删除
检查hbase和zookeeper,只需要把上面的hadoop换成hbase和zookeeper即可
都删除完用find / -name hadoop检查下 还有没有残存目录
2.安装cloudera manager
1.操作系统环境准备
1.关闭防火墙(所有节点)service iptables stop
chkconfig iptables off
2.关闭selinux(所有节点)
vi /etc/selinux/config
SELINUX=disabled
3.安装时间服务器同步时间(所有节点)(如果已经保证时间同步,此步骤可跳过)
yum install ntp -y
chkconfig ntpd on
service ntpd start
ntpdate -u 202.108.6.95
4.添加主机名映射(所有节点)
vi /etc/hosts
192.168.3.229 CNC-BJ-1-1A4(如果有主机别名要和主机名一致)
5.做ssh免密码登录(保证cloudera manager到所有节点能免密码)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后将公钥分别设置到要免密码登录的节点上
如要做node1到node2的免密码登录,将node1的公钥复制到node2的home目录:
scp ~/.ssh/id_dsa.pub root@node2:/home/
在node2上将从node1传过来的公钥添加到认证文件中:
cat /home/id_dsa.pub >> ~/.ssh/authorized_keys
rm -rf /home/id_dsa.pub
注:其它节点的免密码登录重复执行如上命令即可,将主机名node1换成相应的主机。
6.设置交换分区频率(所有节点)
echo 0 > /proc/sys/vm/swappiness
7.配置传输
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
至此,操作系统环境准备完成
2.安装依赖软件
1.安装jdk(所有节点)(已安装略过此步骤)下载JDK安装包jdk-8u65-linux-x64.rpm到所有节点,执行如下命令安装
rpm -ivh jdk-8u65-linux-x64.rpm
配置JDK的环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_66
export PATH=$PATH:$JAVA_HOME/bin
执行如下命令让环境变更生效
source /etc/profile
2.安装mysql(仅主节点)
yum install mysql-server -y
设置mysql开机启动
chkconfig mysqld on
启动mysql服务
service mysqld start
查看端口
netstat -nplt | grep 3306
进入mysql
mysql
给root设置密码、权限和允远程访问的IP
grant all on *.* to root@'%' identified by 'Cdn123456';
grant all on *.* to root@'节点1' identified by 'Cdn123456';
grant all on *.* to root@'节点2' identified by 'Cdn123456';
grant all on *.* to root@'节点3' identified by 'Cdn123456';
grant all on *.* to root@'节点N' identified by 'Cdn123456';
grant all on *.* to root@'localhost' identified by 'Cdn123456';
查看mysql的版本号(后续需要用到mysql驱动包,根据版本下载)
rpm -qa |grep mysql
3.安装cloudera manager server(仅主节点)
1.上传安装所需文件到/opt目录CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
cloudera-manager-el6-cm5.8.0_x86_64.tar
mysql-connector-java-5.1.37-bin.jar
lzo
2.解压安装
tar -vxf cloudera-manager-el6-cm5.8.0_x86_64.tar
3.创建数据库
在主节点的mysql中创建数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to root@'节点1' identified by 'Cdn123456' with grant option;
grant all privileges on *.* to root@'节点2' identified by 'Cdn123456' with grant option;
grant all privileges on *.* to root@'节点3' identified by 'Cdn123456' with grant option;
grant all privileges on *.* to root@'节点N' identified by 'Cdn123456' with grant option;
4.jdbc驱动包加入
cp mysql-connector-java-5.1.37-bin.jar /opt/cm-5.8.0/share/cmf/lib/
cp mysql-connector-java-5.1.37-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/
5.在每个节点创建如下用户
useradd --system --home=/opt/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
vi /etc/sudoers
cloudera-scm ALL=(ALL) NOPASSWD:ALL
6.在主节点初始化cm数据库
/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql scm -h主节点 -uroot -p密码 --scm-host 主节点 scm scm scm
4.安装coludera manager agent
1.agent配置修改/opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名
vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini
server_host=主机名(主机名为安装cloudera manager server的节点名)
2同步agent到其他节点.
cd /opt
scp -r ./cm-5.8.0 root@节点主机名:/opt
5.安装CDH5
1.安装parcel将CHD5相关的parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel /opt/cloudera/parcel-repo/
cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha /opt/cloudera/parcel-repo/
2.创建文件夹并赋权限
mkdir /var/lib/cloudera-scm-agent
mkdir /var/lib/cloudera-scm-server
chmod -R 777 /var/lib/cloudera-scm-agent
chmod -R 777 /var/lib/cloudera-scm-server
mkdir /opt/cm-5.8.0/run/cloudera-scm-agent
3.在主节点启动服务
/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start
4.在所有节点启动agent服务
/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start
5.通过浏览器访问cloudera manager
http://主节点主机名:7180
6.进入页面进行配置
admin/admin登录
选择免费版
在版本选择时选择如下图,我们下载好的5.8.0版本,kafka选择上
选择完成后,点击下一步进行安装,这里下载应该是直接显示100%,等待分配安装完成,这个时间会久一点,完成后进入集群设置界面
这里我们选择自定义服务,如下图
我们需要安装hbase,hdfs,mapreduce,yarn,zookeeper,点击下一步,然后根据规划,选择各个服务所在节点,然后测试数据库连接,这里是cloudera manager要用到的数据库scm,
再然后是目录配置,如图:
配置完成后点击继续,进行集群安装
7.lzo安装
将lzo的parcel按照cdh的方式,cp到目录/opt/cloudera/parcel-repo下,在cloudera manager界面主机下拉栏选择parcel选项,检测新parcel,点击分配,激活,如下图:
激活完成后修改hadoop配置文件使lzo生效。
修改hdfs的配置
将io.compression.codecs属性值中追加,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
修改yarn配置
将mapreduce.application.classpath的属性值修改为: $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$MR2_CLASSPATH,/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*
将mapreduce.admin.user.env的属性值修改为:LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native
问题总结
1.当因为配置文件写错出现安装不正确时,要进行完全卸载 http://blog.csdn.net/wulantian/article/details/42706777 ,卸载完成时要kill掉所有进程,特别注意此进程supervisor,它会导致我们kill掉的进程重新启动,要优先kill掉,然后按照安装步骤重新安装
2.当遇到组件安装失败时,大部分情况是因为目录问题,可能是已存在,没权限,不存在等情况,查看具体日志解决
相关文章推荐
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- CDH安装文档
- cdh安装文档
- HBase(CDH)分布式集群安装文档 (笔记)
- HBase(CDH)分布式集群安装文档 (笔记)
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- HBase(CDH)分布式集群安装文档 (笔记)
- cdh安装文档
- cdh安装文档
- HBase(CDH)分布式集群安装文档 (笔记)
- CDH 5.7.0 安装文档
- cdh安装文档
- cdh安装文档
- cdh安装文档
- cdh安装文档
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- cdh安装文档
- cdh安装文档
- Cloudera Manger CDH 安装文档
- HBase(CDH)分布式集群安装文档 (笔记)