CDH系统相关总结

CDH系统相关总结

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

Hadoop配置文件
配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务（如HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

failover：
CDH默认的有一个(NN)namenode，一个(SNN)secondary namenode，但是这里要注意的是，SNN并不提供failover的能力 
也就是说NN挂了，SNN是不会接管服务的，只能从SNN恢复NN，然后启动NN。
CDH也提供了，HDFS failover的能力，但是要依靠zookeeper服务。

JournalNode : 存放EditLog
配置failover需要具备以下几点要求： 
1.namenode和standby namenode在硬件上面最好一致，这样failover后才不会出现性能瓶颈 
2.JournalNode部署，最好部署NN,或者SNN上面，磁盘用本地磁盘，不要用SAN,NAS存储。 
3.至少部署3个JournalNode，奇数部署，如（3，5，7），最多可以接受(N-1)/2个JournalNode故障

使用cloudera manager配置步骤： 
1.确保有zookeeper服务 
2.进入HDFS服务 
3.点击操作下拉菜单，启用High Availability 
a.指定名称，默认是nameservice1 
b.namenode hosts选择相关host 
c.JournalNode Hosts至少3个 
d.JournalNode Edits Directory目录设置

两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit
log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。