CDH使用秘籍(二):cloudera Manager中监控数据的存储
2016-06-16 16:49
483 查看
CDH使用秘籍(二):cloudera Manager中监控数据的存储
时间 2014-11-19 14:18:28 CSDN博客原文 http://blog.csdn.net/shifenglov/article/details/41281399
主题 Cloudera
概述
上一篇文章分析了 cloudera manager 中监控数据、中心数据的存储方式,怎样配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。Service Monitor 和 Host Monitor 角色在 cloudera manager 中存储了时间序列、健康数据、 Impla 查询和 Yarn 应用的元数据。经过查看相应的 Cloudera
Manager 的存储连接,发现 Service Monitor 和 Host Monitor 的存储使用的是 levelDB 的解析类,由此可以推断出本地存储使用的是 levelDB 。 LevelDB 可以说是 key-value 的数据库的鼻祖,读写效率特别高,并发也很大,而Cloudera
Manager的监控的读写数据特别多、频繁。这也可能是 Cloudera Manager5 选择使用 levelDB 替换关系数据库的原因。
监控数据在 Cloudera Manager 升级中的迁移
Cloudera Manager 5 存储 Host Monitor 和 Service Monitor 数据到本地数据库。如果使用自动化升级配置从 Cloudera
Manager 4 升级到 5 ,数据会从 Cloudera manager 4 中的内嵌数据库或者外部数据库中自动迁移到 Cloudera Manger5 中的本地数据库中。这是一个自动化执行的过程中,中间可以查看迁移过程的日志等。
Service Monitor 数据存储的配置
Service Monitor 存储了时间序列和健康数据, Impla 查询的元数据, Yarn 应用的元数据。默认情况下,数据时存储在 /var/lib/cloudera-service-monitor/ 目录下,你也可以修改 Service
Monitor Storage Directory 配置 firehose.storage.base.directory 。
You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following configuration options:
Time-series metrics and health data - Time-Series Storage (firehose_time_series_storage_bytes - 10 GB default)
Impala query metadata - Impala Storage (firehose_impala_storage_bytes - 1 GB default)
YARN application metadata - YARN Storage (firehose_yarn_storage_bytes - 1 GB default)
Host Monitor 数据存储的配置
Host Monitor 存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/ 目录下,你也可以修改 Host Monitor Storage Directory 配置。
You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:
Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes - 10 GB default)
数据粒度和时间序列指标数据
Service Monitor 和 Host Monitor 使用很多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度,比如每一个小时,会把数据的平均值,最小值,最大值汇总成一个小时为粒度的数据,每 6 个小时,会汇总成 6 个小时的数据。每天、每个星期等。这种方式只会汇总指标数据。 Impla 的查询和 Yarn 应用的监控数据当接近限制时,会删除旧的数据。
当存储快达到限制时,会先删除粒度最细的数据,保证存储空间的释放。比如会先删除小时为粒度的数据,其次是以天微粒度的数据。
Moving
Monitoring Data on an Active Cluster
Host
Monitor and Service Monitor Memory Configuration
原创文章,欢迎转载,转载请标明出处 http://blog.csdn.net/shifenglov/article/details/41281399
相关文章推荐
- 正则表达式grep、egrep--already
- 雅虎WEB前端网站优化 -- 34条军规
- rest ( 大白话 )
- 关于oop错误定位的学习
- nginx安装
- 【shell】sort命令
- liunx centos 下安装 mysql
- 解决自定义BackItem与Pop Gesture冲突的问题
- JPA 一对多延迟加载与关系维护
- Linux基础命令快速入门
- shell 脚本样例
- Hadoop总结篇之五---模块间是怎么驱动执行的
- Hadoop总结篇之四---底层通信是怎么做到的
- CentOS7之搭建lamp环境
- Shell
- Linux下shell读取文件内容报错
- log4j.properties
- [转]Linux sendmail 详解
- linux下强制修改mysql密码
- Tomcat 部署详解