运维系列:10、Spark监控之Metrics
2014-09-16 17:43
363 查看
Spark使用的Metrics是https://github.com/dropwizard/metrics
配置
参考conf/metrics.properties.template 模块模板,并带有配置说明
配置方法
syntax: [instance].sink|source.[name].[options]=[value]
[instance]可取值为:master、worker、executor、driver、applications、*等。*配置的属性被其它值继承.
sink|source:指定配置的属性是source,还是sink
source:第一种为Spark内部source,MasterSource、WorkerSource等,它们会接收Spark组件的内部状态;
第二种为通用source,如:JvmSource,它收集低级别的状态
sink:指定metrics信息发送到哪,每个instance可以设置一个或多个Sink
[name]:指定source或sink的名称
[options]:
备注:
添加一个新sink,选项class的值为完整类名称,带包
一些Sink牵涉轮询时间,最短的轮询时间是1秒
精确的instance会覆盖*配置,如:master.sink.console.period会覆盖*.sink.console.period
默认的配置文件为“park.metrics.conf=${SPARK_HOME}/conf/metrics.properties”,因此会自动加载${SPARK_HOME}/conf/metrics.properties。如果想修改文件位置,可以使用java的运行时属性-Dspark.metrics.conf=xxx进行修改。
新建文件conf/metrics.properties
配置
参考conf/metrics.properties.template 模块模板,并带有配置说明
配置方法
syntax: [instance].sink|source.[name].[options]=[value]
[instance]可取值为:master、worker、executor、driver、applications、*等。*配置的属性被其它值继承.
sink|source:指定配置的属性是source,还是sink
source:第一种为Spark内部source,MasterSource、WorkerSource等,它们会接收Spark组件的内部状态;
第二种为通用source,如:JvmSource,它收集低级别的状态
sink:指定metrics信息发送到哪,每个instance可以设置一个或多个Sink
[name]:指定source或sink的名称
[options]:
备注:
添加一个新sink,选项class的值为完整类名称,带包
一些Sink牵涉轮询时间,最短的轮询时间是1秒
精确的instance会覆盖*配置,如:master.sink.console.period会覆盖*.sink.console.period
默认的配置文件为“park.metrics.conf=${SPARK_HOME}/conf/metrics.properties”,因此会自动加载${SPARK_HOME}/conf/metrics.properties。如果想修改文件位置,可以使用java的运行时属性-Dspark.metrics.conf=xxx进行修改。
新建文件conf/metrics.properties
相关文章推荐
- 详解运维监控利器Nagios 系列(一)-Nagios的概念、组成以及工作原理
- 详解运维监控利器Nagios 系列(三)-配置Nagios监控系统 (1)
- Spark系列修炼---入门笔记10
- CISSP备考系列之审计和监控[10-36]
- spark 监控--WebUi、Metrics System
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
- 详解运维监控利器Nagios 系列(三)-配置Nagios监控系统 (2)
- 运维系列:01、Spark编译与打包
- 运维监控系列大纲
- Spark2.0机器学习系列之10: 聚类(高斯混合模型 GMM)
- 运维系列:06、Spark调优
- 详解运维监控利器Nagios 系列(二)-安装Nagios监控系统
- 详解运维监控利器Nagios 系列(五)-利用插件扩展Nagios的监控功能
- 运维系列:03、Spark 单机版
- spark学习系列——10 spark宽依赖和窄依赖
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
- Azure运维系列10:跨订阅迁移ARM虚拟机
- 详解运维监控利器Nagios 系列(四)-Nagios的日常维护和管理
- 运维系列:05、Spark on Yarn
- JDK5.0新特性系列---10.监控与管理虚拟机