在云服务器上从0安装CDH5.4.0 步骤

第一步（五台完成）：

查看防火墙状态：

chkconfig iptables --list

关闭防火墙  service iptables stop

启动级别关闭防火墙 chkconfig iptables off 

第二步（五台完成）：修改hosts文件（也是必须的）vi /etc/hosts

10.253.24.150   master1.com     master1

10.136.39.210   master2.com     master2

10.254.11.139   slave1.com      slave1

10.254.10.139   slave2.com      slave2

10.254.8.149    slave3.com      slave3

(公网ip)master1:120.92.56.241

master2:120.92.56.47

slave1:120.92.56.239

slave2:120.92.56.48

slave3:120.92.56.240

service network restart

第三步(五台完成)：修改主机名  vi /etc/sysconfig/network

hostname：slave1.com

networking：yes

第四步：

关闭selinux（SELINUX=xxx修改为disable）vi /etc/selinux/config

# This file controls the state of SELinux on thesystem.

# SELINUX= can take one of these three values:

#     enforcing-cd  SELinux security policy is enforced.

#    permissive - SELinux prints warnings instead of enforcing.

#     disabled- No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these two values:

#     targeted- Targeted processes are protected,

#     mls -Multi Level Security protection.

SELINUXTYPE=targeted

第五步：（五台机器）添加普通户用hadoop（useradd hadoop）修改密码：(passwd hadoop) hadoop

ssh(五台)：首先在每台机器上生成公钥私钥；

su hadoop;

cd;

mkdir .ssh(/home/hadoop/.ssh);

ssh-keygen -t rsa;

cat .ssh/id_rsa.pub >> .ssh/authorized_keys;

chmod 600 ~/.ssh/authorized_keys;

（五台）最后切换root用户，配置sshd，取消被注释的公钥字段(vi /etc/ssh/sshd_config)， 

    RSAAuthentication yes # 启用 RSA 认证 

    PubkeyAuthentication yes # 启用公钥私钥配对认证方式 

    AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同） 

    并保存设置，然后重启sshd，即可测试本机的SSH，如下图所示。 

 service sshd restart

第六步(不要安装用CM自带的)：上传安装jdk1.7到/usr/local/jdk1.7

解压：tar -zxvf jdk-7u79-linux-x64.tar.gz

配置jdk环境变量：  cd /etc/profile.d

  新建   vi java.sh  增加以下内容：

JAVA_HOME=/usr/local/jdk1.7.0_79

CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

 source /etc/profile.d/java.sh 使文件生效

         执行命令vi /etc/profile 增加两行内容，分别是

         export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=.:$JAVA_HOME/bin:$PATH

 java -version检查版本

第七部：安装CM和hive需要的元数据存储数据库mysql
http://www.centoscn.com/mysql/2014/1211/4290.html
SSH:

安装ssh
rpm -qa |grep ssh  #检查是否装了SSH包  
##注意如果安装了，下面的的命令就不用再操作了

yum install openssh-server  # 安装ssh  
chkconfig --list sshd #检查SSHD是否设置为开机启动  
chkconfig --level 2345 sshd on  #如果没设置启动就设置下.  
service sshd restart  #重新启动 

配置ssh无密码登录 

1) 先在master上，生成公钥、私钥对 
以hadoop身份登录到系统
cd (进入个人主目录，默认为/home/hadoop)
ssh-keygen -t rsa -P ''(之前要删除.ssh文件夹)
即：以rsa算法，生成公钥、私钥对，-P ''表示空密码。该命令运行完后，会在个人主目录下生成.ssh目录，里面会有二个文件id_rsa（私钥） ,id_rsa.pub(公钥)
导入公钥
cat .ssh/id_rsa.pub >> .ssh/authorized_keys

             
ssh localhost (或ssh master1)，如果不幸还是提示要输入密码，说明还没起作用，还有一个关键的操作
chmod 600 .ssh/authorized_keys (修改文件权限，否则不起作用)chmod 600 authorized_keys 

                chmod 700 ~/.ssh
2) 在其它机器上生成公钥、密钥，并将公钥文件复制到master1
a) 以hadoop身份登录其它二台机器 slave1、slave2、slave3，执行 ssh-keygen -t rsa -P '' 生成公钥、密钥
b) 然后用scp命令，把公钥文件发放给master1

                master2上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_master2.pub

slave1上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave1.pub
slave2上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave2.pub

                slave3上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave3.pub
3）在master1上，导入这4个公钥
cat id_rsa_slave1.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys

                cat id_rsa_slave3.pub >> authorized_keys

                cat id_rsa_master2.pub >> authorized_keys
4)在 master1 上 的authorized_keys 拷贝到 其他机器
scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/authorized_keys
scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/authorized_keys

                scp authorized_keys hadoop@slave3:/home/hadoop/.ssh/authorized_keys

                scp authorized_keys hadoop@master2:/home/hadoop/.ssh/authorized_keys
5）修改其他机器上的文件权限：
chmod 700 authorized_keys（chmod 700 .ssh/authorized_keys）
6）验证，如果能够正常登录，表示就能够使用

                ssh slave1测试

CM的安装:

1.CM的准备工作(安装在master1上）

yum -y install postgresql-server

yum -y install postgresql

yum -y install httpd 

yum -y install perl

yum -y install bind-utils

yum -y install libxslt

yum -y install cyrus-sasl-gssapi

yum -y install redhat-lsb 

yum -y install  cyrus-sasl-plain 

yum -y install portmap 

yum -y install fuse 

yum -y install fuse-libs 

yum -y install nc

yum -y install python-setuptools

yum -y install openssh-clients（ssh不能使用时）

在此目录下新建文件夹：

var/www/html/cm5.4.0

var/www/html/cdh

配置本地yum源

    进入 cd /etc/yum.repos.d目录创建cloudera-manager.repo文件。内容如下：

    [cloudera-manager]

    name = Cloudera Manager, Version 5.4.0

    baseurl = http://120.92.56.241/cm5.4.0
    gpgcheck = 0

    注意：repo文件中不能有特殊字符

开启http服务:

每次开机启动：chkconfig httpd on

启动 http服务：service httpd start

查看http服务状态：service httpd status

/usr/local/下 修改 cloudera-manager-installer5.4.0.bin的权限：

chmod 775  cloudera-manager-installer5.4.0.bin 或者

chmod u+x  cloudera-manager-installer5.4.0.bin

运行命令:./cloudera-manager-installer5.4.0.bin 进行安装

如果中间有安装失败的情况进入 cd /etc/yum.repos.d

删除新生成的rpmnew文件，在进行安装。如果安装成功，访问http://120.92.56.241:7180测试 用户名：admin 密码：admin

浏览器测试yum源 : http://120.92.56.241/cdh
ROOT用户下（无法进行身份验证的错误）

visudo命令

添加：

hadoop  ALL=(root)       NOPASSWD: ALL

hadoop  ALL=(ALL)       NOPASSWD: ALL

service sshd restart

service cloudera-scm-agent status

service cloudera-scm-agent restart

检测主机时:

 1.Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。

您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响： 

解决办法: echo 0 > /proc/sys/vm/swappiness