CDH版本离线安装的几个步骤

使用hadoop账号通过CM方式安装CDH

三台机器

192.168.130.140 centos-master

192.168.130.141 centos-slave1

192.168.130.142 centos-slave2

1、设置root权限： 参考 
给组赋root权限

2、下载CM\CDH安装包、准备jdk1.7 、mysql、http服务等环境

运行CDH5需要使用Oracle的Jdk，需要Java 7的支持
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1 http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/manifest.json
下载  jdk-7u71-linux-x64.rpm 包安装JDK

安装前，先将原有jdk删除，通rpm -qa|grep jdk查找到包，然后通过以下命令删除

rpm -e --nodeps 包名

数据库创建

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# Reports Manager

create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all privileges on *.* to 'root'@'centos-master' identified by 'root123' with grant option;

flush privileges;
3、设置SSH 互信

4、调整系统参数

在/etc/rc.local中添加一下内容（禁用透明大页）

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

   echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

 echo 0 > /proc/sys/vm/swappiness （最大化利用内存）

永久生效操作

sudo vi /etc/sysctl.conf

vm.swappiness=0

cd  /etc/security/limits.d

vi hadoop.conf

hadoop   - nofile   32000

hadoop   - nproc    16000
5、配置ntp时钟同步

6、关闭iptables和selinux

上述准备完后，即可开始通过CM部署了。

7.1 CM安装

主节点解压安装

tar -zxvf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz
http://dev.mysql.com/downloads/connector/j/下载mysql
解压后，找到mysql-connector-java-5.1.35-bin.jar，放到/opt/cm-5.3.3/share/cmf/lib/中

-- 在主节点初始化CM5的数据库：:

sudo /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcentos-master -uroot -proot123 --scm-host centos-master scm scm scm

mysql -uroot -proot123 -h localhost -e "show databases;"

----Agent配置

修改/opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他节点

scp -r cm-5.3.3 centos-slave1:/opt

scp -r cm-5.3.3 centos-slave2:/opt

---在所有节点创建cloudera-scm用户

sudo useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm

7.2 CDH5安装

将以下安装包放到主节点/opt/cloudera/parcel-repo/目录（手工创建）：

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1 (后缀mv成 .sha)

manifest.json

7.3 启动服务

---主节点上启动服务端

sudo /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start  

--启动agent服务

sudo /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start 

详细参见下文链接成功后即可登陆CM控制台（默认端口7180）：

















特别注意：

1、CM安装过程中切记先同步cm-5.3.3到各节点，再启用agent服务，因为首次启用后会产生一个uuid(/opt/cm-5.3.3/lib/cloudera-scm-agent/uuid)，如果启用服务后再同步，将导致所有agent端共用一个UUID,会出现紊乱的情况，如登录CM控制台安装只能看到1台管理的主机，且该主机名随机切换成agent中的一台。



2、hive需要mysql-java包：cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib