hadoop ganglia安装配置详解

下面是包括ganglia的安装，和ganglia监控hadoop的配置的完整过程。以及在安装过程中遇到的各种问题和解决方法的记录。ganglia版本为3.6，hadoop版本为cdh5.

准备工作

准备工作中的各项安装，在每个节点，包括gmetad和gmond上都需要。

1. 安装依赖

yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel

2. 安装php-gd

yum -y install php-gd.x86_64

3. 安装rrdtool

yum -y install rrdtool.x86_64
yum -y install rrdtool-devel.x86_64

4. 安装expat

wget http://jaist.dl.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz ./configure --prefix=/usr/local/expat
make
make install
mkdir /usr/local/expat/lib64
cp -a /usr/local/expat/lib/* /usr/local/expat/lib64/

5. 安装confuse

wget http://ftp.twaren.net/Unix/NonGNU//confuse/confuse-2.7.tar.gz ./configure CFLAGS=-fPIC --disable-nls --prefix=/usr/local/confuse
make
make install
mkdir -p /usr/local/confuse/lib64
cp -a -f /usr/local/confuse/lib/* /usr/local/confuse/lib64/

7. 下载并解压ganglia到指定目录下。这里的目录是/search/ganglia

gmetad安装

1. 安装gmetad

./configure --with-gmetad --enable-gexec --with-libconfuse=/usr/local/confuse --with-libexpat=/usr/local/expat --prefix=/usr/local/ganglia --sysconfdir=/etc/ganglia --with-libpcre=no
make
make install

2. 创建数据目录并设置权限

mkdir -p /var/lib/ganglia/rrds
mkdir -p /var/lib/ganglia/dwoo
chown -R root:root /var/lib/ganglia

3. 修改配置文件/etc/ganglia/gmetad.conf：

添加data_source项，根据需要添加。一个data_source对应一个监控集群。
data_source "optest" host:port

4. 设置启动项：

cp -f gmetad/gmetad.init /etc/init.d/gmetad
cp -f /usr/local/ganglia/sbin/gmetad /usr/sbin/gmetad

5. 启动gmetad:

service gmetad start

gmond安装

1. 安装gmond：

./configure --enable-gexec --with-libconfuse=/usr/local/confuse --with-libexpat=/usr/local/expat --prefix=/usr/local/ganglia --sysconfdir=/etc/ganglia --with-libpcre=no
make
make install

2. 设置启动项：

cp -f gmond/gmond.init /etc/init.d/gmond
cp -f /usr/local/ganglia/sbin/gmond /usr/sbin/gmond

3. 修改配置文件：

gmond --default_config > /etc/ganglia/gmond.conf
配置/etc/ganglia/gmond.conf。飘红是需要做改动的地方。然后将配置好的conf文件拷贝到每个节点上。

<span style="font-family:Microsoft YaHei;font-size:14px;">					globals {
daemonize = yes
setuid = yes
<span style="color:#ff0000;">user = root</span>
......</span>

<span style="font-family:Microsoft YaHei;font-size:14px;"> 					cluster {</span>

<span style="font-family:Microsoft YaHei;font-size:14px;">					  <span style="color:#ff0000;">name = "test"
owner = "root"</span>
latlong = "unspecified"
url = "unspecified"
}

udp_send_channel {
<span style="color:#ff0000;">					  #bind_hostname = yes
#mcast_join = 239.2.11.71
host = your.host
port = 8649</span>
ttl = 1
}

udp_recv_channel {
<span style="color:#ff0000;">					  #mcast_join = 239.2.11.71
port = 8649
#bind = 239.2.11.71
#retry_bind = true</span>
# buffer = 10485760
}</span>

4. 启动服务：

service gmond start

ganglia web配置

1. 启动Apache：

service httpd start

2. 下载ganglia-web的tar包并解压到/var/www/html目录下

3. 修改用户：

vi Makefile
apache_user = apache

4. 安装ganglia web:

make install
service httpd restart
service gmetad restart

5. 访问master/ganglia。如果能正常出现页面，并在启动gmond后相应机器的监控也出现，表示安装成功。

ganglia监控hadoop配置

1. 配置hadoop的hadop-metrics2.properties文件。并分发到hadoop集群。

<span style="font-family:Microsoft YaHei;font-size:14px;">		*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.period=10
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
#namenode
namenode.sink.ganglia.servers=gmetad.server:8649
#resourcemanager
resourcemanager.sink.ganglia.servers=gmetad.server8649
maptask.sink.ganglia.servers=gmetad.server:8649
reducetask.sink.ganglia.servers=gmetad.server:8649
#datanode
datanode.sink.ganglia.servers=gmetad.server:8649
#nodemanager
nodemanager.sink.ganglia.servers=gmetad.server:8649
#maptask.sink.ganglia.servers=gmetad.server:8649
#reducetask.sink.ganglia.servers=gmetad.server:8649</span>

2. 重启hadoop集群

error解决

1. gmetad启动后执行“service gmetad status”，报错“gmetad dead but subsys locked ”

解决：

chown -R nobody:nobody /var/lib/ganglia

2. 图片无法显示

解决：

判断可能是没有安装php-gd，安装： yum install php-gd.x86_64。或者可能是是conf_default.php中rrdtool的目录配置不对。

3. 一旦配置启动hadoop metrics，所有的监控数据立即失效。

解决：

ganglia原理是从各个节点的gmond汇总到主gmond，然后由gmond汇报给gmetad。所以以下方法可用：

（1） 在某个节点上修改gmong.conf的debug_level，重启gmond查看debug输出进行差错。

（2） 查看/var/log/messages中的gmond和gmetad的日志输出，逐步解决其中的报错。

本次我解决了message报的各个错，然后hadoop ganglia监控正常了。

4. [PYTHON] Can't open the python module path /etc/ganglia/lib64/ganglia/python_modules. Module python_module

解决：

mkdir -p /usr/local/ganglia/lib64/ganglia/python_modules

5. RRD_create: creating '/var/lib/ganglia/rrds/test/slave01/rpc.RetryCache/NameNodeRetryCache.CacheCleared.rrd': No such file or directory

解决：

手动创建不存在的目录（/rpc.RetryCache）并修改权限为nobody

6. ganglia运行日志查看

解决：

ganglia目前来看没有日志可看。两个方法，一是启用gmond的debug，查看输出；二是查看/var/log/messages中的输出。