CentOS6.5 Ambari1.4.4安装配置实战
2014-03-26 11:00
459 查看
系统：三台Centos6.5虚拟机；
需下载软件：ambari-1.4.4.23-centos6.tar.gz、HDP-2.0.6.1-centos6-rpm.tar.gz、HDP-UTILS-1.1.0.16-centos6.tar.gz；（为了保证离线安装，所以这里我们配置都是使用本地http源）
可以从这个网址下载：http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#， 不过这个网址打开有点慢。另外需要注意一点的是在下载ambari的时候它是有自己配对的HDP的，最好是要一致，比如上面下载的ambari和HDP就是配对的。
1. 首先说配置吧（配置好了，其他都是浮云）
假设我们配置的ip和机器名的映射分别是：
配置domain name是因为hdp好像需要这个，不配置这个的话，在ambari一键安装hdp的时候会有warning。
1.1首先按照前面一篇http://blog.csdn.net/fansy1990/article/details/21789473装好系统先，同时配置Centos的本地http源。
1.2 配置ip和hostname：以vm1为例（以下未做说明，都是以vm1为例）：
修改/etc/hosts:
修改 /etc/sysconfig/network:
1.3 配置selinux、iptables：
修改/etc/selinux/config :
因为修改了机器名，所以最后重启下。
1.4 上传下载的3个.tar.gz文件到vm1的/var/www/html文件夹，然后解压缩，会得到下面的文件夹：
centos是我们本地的系统源。
1.5 配置ambari、hdp、hdp-util的repo。
首先复制ambari\centos6\1.x\updates\1.4.4.23\ambari.repo 、HDP\centos6\2.x\updates\2.0.6.1\hdp.repo、HDP-UTILS-1.1.0.16\repos\centos6\hdp-util.repo文件到/etc/yum.repo.d/文件夹下面，如下：
其中，HDP.repo是ambari配置的时候自动生成的，可以不用管。
修改ambari.repo:
修改CentOS-Base.repo、CentOS-Debuginfo.repo、CentOS-Media.repo，把其中的enabled设置为0，如果没有这个属性则添加一个，比如CentOS-Base.repo:
修改hdp.repo:
1.5 配置ssh：
生成ssh key： ssh-keygen -t rsa ，然后三次Enter即可；
复制key： ssh-copy-id -i ~/.ssh/id_rsa.pub vm1 、ssh-copy-id -i ~/.ssh/id_rsa.pub vm2、ssh-copy-id -i ~/.ssh/id_rsa.pub vm3，分别输入密码即可（默认所有操作都使用root用户）
验证： ssh vm3 ，无密码登录即可。
1.6 拷贝http源到vm2、vm3；
scp /etc/yum.repos.d/* root@vm2:/etc/yum.repos.d/
scp /etc/yum.repos.d/* root@vm3:/etc/yum.repos.d/
进入vm2、vm3 ，运行yum clean all. 同时安装unzip，在HDP有个Service需要解压，minmal的版本好像没有这个unzip。
2. 安装ambari：
2.1 安装ntp：
进入vm1， yum install ntp， 然后修改/etc/ntp.conf：
运行：watch ntpq -p ，可以看到下面的界面：
进入vm2、vm3，yum install ntp ，修改/etc/ntp.conf:
进入vm1，运行 ： yum install ambari-server;
进入vm2、vm3，运行：yum install ambari-agent；（这里建议提前安装ambari-agent）
2.3 安装ambari-server：
进入vm1，运行：ambari-server setup -j /opt/jdk1.7.0_25 -s 。 -j参数是jdk的路径。-s参数表示按照默认安装。额，顺便说下，需要提前在三台vm上安装jdk。
2.4 运行ambari-server:
进入vm1，运行：ambari-server start
3. 安装HDP：
3.1 如果是windows本地网页访问虚拟机，需配置hosts映射，修改C:\Windows\System32\drivers\etc\hosts：
第一项是配置集群的名称，这个可以自己命名了。
3.2 配置stack（此配置至关重要）：
选择hdp2.0.6 ；同时修改下面的Repositories源，去掉其中的两个，保留Centos6的，这里特别注意需要修改里面的URL，其URL为：http://vm1.localdomain/HDP/centos6/2.x/updates/2.0.6.1/。 这个也就是前面的hdp.repo文件中的baseurl，同时这个url也是安装hdp时在/etc/yum.repo.d/下面产生的HDP.repo文件的依据。
3.3 installation 选项：
hosts输入：
primary key ,输入 vm1里面的~/.ssh/id_rsa里面的内容即可。
然后就是验证和注册了。
验证和注册如何出问题，可以参考这里解决：http://blog.csdn.net/fansy1990/article/details/21658767。
3.4 选择服务：
这里建议全部选择吧。
3.5 指定masters：
这里指定master，需要统一规划，安装每个机器的资源进行配置，不过这里是虚拟机安装的，可以尽量平均分配下（每个vm才1G内存，哎，深感内存少呀）。
3.6 指定salve和client，这个和指定master一样的道理。
3.7 配置服务，这个需要特别注意了：
首先红色的肯定是需要配置的，不过也只是配置数据库的密码而已，这里建议都统一配置记录下来，以防后面 忘记了。
其次，在配置其他服务的时候也是需要每个参数去留心看看的，比如，由于我的才1G内存的虚拟机，所以在有内存参数配置的，比如默认的是1G或者2G，我都改为256M了，同时我只有一个数据节点，所以dfs.replication配置为了1,。等等这些配置，都需要去分析，如果是实际环境的话。
最后重要的一点是Install、start、test了。这里按照我前面的配置，最后在HBase测试的时候出了点问题，问题如下：
不过，说句实话，如果真是虚拟机玩的话，内存一定要够呀。三台虚拟机开着，在安装的时候，内存一直保持3.7、8的样子，cpu很多时候都去到了90%+，不能进行其他操作。
4. 总结
Ambari安装配置HDP，确实不是很难，如果前期准备都ok的话，那就基本是万事大吉了，后面也只是一些小问题了。最后，附上几张图吧。
你可以看到这个界面很多红色的，因为我就开了一个vm1，而且还把所有的服务都关闭了。不然，我连写这篇博客估计都够呛。
分享，成长，快乐
转载请注明blog地址：http://blog.csdn.net/fansy1990
需下载软件：ambari-1.4.4.23-centos6.tar.gz、HDP-2.0.6.1-centos6-rpm.tar.gz、HDP-UTILS-1.1.0.16-centos6.tar.gz；（为了保证离线安装，所以这里我们配置都是使用本地http源）
可以从这个网址下载：http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#， 不过这个网址打开有点慢。另外需要注意一点的是在下载ambari的时候它是有自己配对的HDP的，最好是要一致，比如上面下载的ambari和HDP就是配对的。
1. 首先说配置吧（配置好了，其他都是浮云）
假设我们配置的ip和机器名的映射分别是：
192.168.0.101 vm1.localdomain vm1 192.168.0.102 vm2.localdomain vm2 192.168.0.103 vm3.localdomain vm3
配置domain name是因为hdp好像需要这个，不配置这个的话，在ambari一键安装hdp的时候会有warning。
1.1首先按照前面一篇http://blog.csdn.net/fansy1990/article/details/21789473装好系统先，同时配置Centos的本地http源。
1.2 配置ip和hostname：以vm1为例（以下未做说明，都是以vm1为例）：
修改/etc/hosts:
192.168.0.101 vm1.localdomain vm1 192.168.0.102 vm2.localdomain vm2 192.168.0.103 vm3.localdomain vm3修改/etc/sysconfig/network-scripts/ifcfg-eth0:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
DEVICE="eth0" BOOTPROTO="static" IPADDR="192.168.0.101" NETMAST="255.255.255.0" GATEWAY="192.168.0.1" DNS1="192.168.0.101" HWADDR="00:0C:29:5E:9D:9E" IPV6INIT="no" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="41b2b021-ba34-4238-b1ce-8a9cc6b5e187"这里的gateway配置为 192.168.0.1其实是错的，因为虚拟机的网管是192.168.0.2，这里配置为.1是因为需要保证没有连到外网哈（其实就是为了测试本地http源而已）；
修改 /etc/sysconfig/network:
NETWORKING=yes HOSTNAME=vm1.localdomain GATEWAY=192.168.0.1其他vm2、vm3参考此配置进行配置。
1.3 配置selinux、iptables：
修改/etc/selinux/config :
SELINUX=disabled命令行执行： chkconfig iptables off ;
因为修改了机器名，所以最后重启下。
1.4 上传下载的3个.tar.gz文件到vm1的/var/www/html文件夹，然后解压缩，会得到下面的文件夹：
centos是我们本地的系统源。
1.5 配置ambari、hdp、hdp-util的repo。
首先复制ambari\centos6\1.x\updates\1.4.4.23\ambari.repo 、HDP\centos6\2.x\updates\2.0.6.1\hdp.repo、HDP-UTILS-1.1.0.16\repos\centos6\hdp-util.repo文件到/etc/yum.repo.d/文件夹下面，如下：
其中，HDP.repo是ambari配置的时候自动生成的，可以不用管。
修改ambari.repo:
[Updates-ambari-1.4.4.23] name=ambari-1.4.4.23 - Updates baseurl=http://vm1.localdomain/ambari/centos6/1.x/updates/1.4.4.23 gpgcheck=0 gpgkey=http://vm1.localdomain/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1注意baseurl的配置，可以拷贝url到浏览器，一般可以看到下面的内容：
修改CentOS-Base.repo、CentOS-Debuginfo.repo、CentOS-Media.repo，把其中的enabled设置为0，如果没有这个属性则添加一个，比如CentOS-Base.repo:
[base] name=CentOS-$releasever - Base mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os #baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 enabled=0 #released updates其中的enabled=0 就需要自己添加。
修改hdp.repo:
[Updates-HDP-2.x] name=Hortonworks Data Platform HDP-2.x - Updates baseurl=http://vm1.localdomain/HDP/centos6/2.x/updates/2.0.6.1 gpgcheck=0 gpgkey=http://vm1.localdomain/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1修改hdp-util.repo:
[root@vm1 yum.repos.d]# cat hdp-util.repo [HDP-UTILS-1.1.0.16] name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.16 baseurl= http://vm1.localdomain/HDP-UTILS-1.1.0.16/repos/centos6 gpgcheck=0 enabled=1 priority=1然后，使用yum clean all ,接着试着找找ambari、hdp、hdp-util的安装包：yum search ambari-agent、yum search Oozie、yum search ganglia，如果可以找到，那么就说明配置成功了。
1.5 配置ssh：
生成ssh key： ssh-keygen -t rsa ，然后三次Enter即可；
复制key： ssh-copy-id -i ~/.ssh/id_rsa.pub vm1 、ssh-copy-id -i ~/.ssh/id_rsa.pub vm2、ssh-copy-id -i ~/.ssh/id_rsa.pub vm3，分别输入密码即可（默认所有操作都使用root用户）
验证： ssh vm3 ，无密码登录即可。
1.6 拷贝http源到vm2、vm3；
scp /etc/yum.repos.d/* root@vm2:/etc/yum.repos.d/
scp /etc/yum.repos.d/* root@vm3:/etc/yum.repos.d/
进入vm2、vm3 ，运行yum clean all. 同时安装unzip，在HDP有个Service需要解压，minmal的版本好像没有这个unzip。
2. 安装ambari：
2.1 安装ntp：
进入vm1， yum install ntp， 然后修改/etc/ntp.conf：
#server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server 127.127.1.0 fudge 127.127.1.0 stratum 8运行 : chkconfig ntpd on;
运行：watch ntpq -p ，可以看到下面的界面：
进入vm2、vm3，yum install ntp ，修改/etc/ntp.conf:
#server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server vm1 server 127.127.1.0 fudge 127.127.1.0 stratum 82.2 安装ambari：
进入vm1，运行 ： yum install ambari-server;
进入vm2、vm3，运行：yum install ambari-agent；（这里建议提前安装ambari-agent）
2.3 安装ambari-server：
进入vm1，运行：ambari-server setup -j /opt/jdk1.7.0_25 -s 。 -j参数是jdk的路径。-s参数表示按照默认安装。额，顺便说下，需要提前在三台vm上安装jdk。
2.4 运行ambari-server:
进入vm1，运行：ambari-server start
3. 安装HDP：
3.1 如果是windows本地网页访问虚拟机，需配置hosts映射，修改C:\Windows\System32\drivers\etc\hosts：
192.168.0.101 vm1.localdomain 192.168.0.102 vm2.localdomain 192.168.0.103 vm3.localdomain浏览器访问http:vm1.localdomain:8080，即可看到Ambari的登录界面，输入用户名密码admin/admin即可登录：
第一项是配置集群的名称，这个可以自己命名了。
3.2 配置stack（此配置至关重要）：
选择hdp2.0.6 ；同时修改下面的Repositories源，去掉其中的两个，保留Centos6的，这里特别注意需要修改里面的URL，其URL为：http://vm1.localdomain/HDP/centos6/2.x/updates/2.0.6.1/。 这个也就是前面的hdp.repo文件中的baseurl，同时这个url也是安装hdp时在/etc/yum.repo.d/下面产生的HDP.repo文件的依据。
3.3 installation 选项：
hosts输入：
vm1.localdomain vm2.localdomain vm3.localdomain
primary key ,输入 vm1里面的~/.ssh/id_rsa里面的内容即可。
然后就是验证和注册了。
验证和注册如何出问题，可以参考这里解决：http://blog.csdn.net/fansy1990/article/details/21658767。
3.4 选择服务：
这里建议全部选择吧。
3.5 指定masters：
这里指定master，需要统一规划，安装每个机器的资源进行配置，不过这里是虚拟机安装的，可以尽量平均分配下（每个vm才1G内存，哎，深感内存少呀）。
3.6 指定salve和client，这个和指定master一样的道理。
3.7 配置服务，这个需要特别注意了：
首先红色的肯定是需要配置的，不过也只是配置数据库的密码而已，这里建议都统一配置记录下来，以防后面 忘记了。
其次，在配置其他服务的时候也是需要每个参数去留心看看的，比如，由于我的才1G内存的虚拟机，所以在有内存参数配置的，比如默认的是1G或者2G，我都改为256M了，同时我只有一个数据节点，所以dfs.replication配置为了1,。等等这些配置，都需要去分析，如果是实际环境的话。
最后重要的一点是Install、start、test了。这里按照我前面的配置，最后在HBase测试的时候出了点问题，问题如下：
err: /Stage[2]/Hdp-hbase::Hbase::Service_check/Exec[/tmp/hbaseSmokeVerify.sh]/returns: change from notrun to 0 failed: su - ambari-qa -c '/tmp/hbaseSmokeVerify.sh /etc/hbase/conf ida8c06700_date142414' returned 1 instead of one of [0] at /var/lib/ambari-agent/puppet/modules/hdp-hbase/manifests/hbase/service_check.pp:77 notice: /Stage[2]/Hdp-hbase::Hbase::Service_check/Hdp-hadoop::Exec-hadoop[hbase::service_check::test]/Hdp::Exec[hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest]/Anchor[hdp::exec::hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest::begin]: Dependency Exec[/tmp/hbaseSmokeVerify.sh] has failures: true notice: /Stage[2]/Hdp-hbase::Hbase::Service_check/Hdp-hadoop::Exec-hadoop[hbase::service_check::test]/Hdp::Exec[hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest]/Exec[hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest]: Dependency Exec[/tmp/hbaseSmokeVerify.sh] has failures: true notice: /Stage[2]/Hdp-hbase::Hbase::Service_check/Hdp-hadoop::Exec-hadoop[hbase::service_check::test]/Hdp::Exec[hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest]/Anchor[hdp::exec::hadoop --config /etc/hadoop/conf fs -test -e /apps/hbase/data/data/default/ambarismoketest::end]: Dependency Exec[/tmp/hbaseSmokeVerify.sh] has failures: true notice: /Stage[2]/Hdp-hbase::Hbase::Service_check/Anchor[hdp-hbase::hbase::service_check::end]: Dependency Exec[/tmp/hbaseSmokeVerify.sh] has failures: true notice: Finished catalog run in 158.31 seconds不过这个大概没啥影响吧。这个没深究，因为在安装好了之后，我启动了下HBase，发现没啥问题。
不过，说句实话，如果真是虚拟机玩的话，内存一定要够呀。三台虚拟机开着，在安装的时候，内存一直保持3.7、8的样子，cpu很多时候都去到了90%+，不能进行其他操作。
4. 总结
Ambari安装配置HDP，确实不是很难，如果前期准备都ok的话，那就基本是万事大吉了，后面也只是一些小问题了。最后，附上几张图吧。
你可以看到这个界面很多红色的，因为我就开了一个vm1，而且还把所有的服务都关闭了。不然，我连写这篇博客估计都够呛。
分享，成长，快乐
转载请注明blog地址：http://blog.csdn.net/fansy1990
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop集群的安装与配置（centos 6.5）
- PXE配置安装CentOS 6.5
- Redis之——CentOS 6.5安装配置redis
- virtualbox虚拟机安装centos6.5及配置上网（图文详细教程）
- CentOs6.5中安装和配置vsftp简明教程
- Centos6.5 下ceph 0.80.7源码安装配置
- Linux(centOS6.5)下SVN的安装、配置及开机启动
- 一键自动化安装配置yum源—（163_epel ) _centos6.5-6.8.32/64_需连网
- 生产服务器环境最小化安装后 Centos 6.5优化配置备忘
- hoop2.2.0的安装配置 （CentOS 6.5 32位）
- 1.1安装CentOS6.5和网络配置
- CentOS 6.5系统安装配置图解教程
- CentOS-6.5安装配置JDK-8
- 运维小知识之nginx---CentOS6.5安装nginx配置nginx sticky
- CentOS 6.5 NFS的安装配置、启动及mount挂载方法
- Centos6.5 + Nginx +mysql + php 安装配置文档
- CentOS6.5_64位系统下安装配置postfix邮件系统 启用并配置SMTP在第三方上边使用发送邮件
- Centos6.5安装Hadoop配置集群环境
- centos6.5上安装和配置hive
- CentOS6.5安装nginx及负载均衡配置