改造CDH HDFS服务NameNode,DataNode进程的日志输出格式为Json
2018-02-24 23:52
896 查看
背景
由于项目需要,需要将CDH中HDFS服务的进程的log输出格式改造成json格式,以便于后续使用Spark的处理,因此对其进行改造修改NameNode进程的日志输出格式
在CDH中进行配置:log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n
修改DataNode进程的日志输出格式
在CDH中进行配置:log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n
重启&生效
保存
保存之后,单击Stale Configuration:Restart neededRestart Stale Services
Review Changes
验证
不足
当出现exception换行时,就会整个信息只有第一行为json格式,剩余行为普通输出,那么整个一条信息就不是完整的json(该现象可称为日志折断现象)将在后续中使用改造Flume来进行解决
相关文章推荐
- 修改CDH进程NN、DN日志输出为JSON格式
- hadoop配置好之后启服务,jps能看到datanode进程,可是后台的datanode日志有如下错误,且50070端口上也是没有活的节点
- 【配置CDH和管理服务】关闭DataNode前HDFS的调优
- hadoop配置好之后启服务,jps能看到datanode进程,可是后台的datanode日志有如下错误,且50070端口上也是没有活的节点
- Ambari更改HDFS的Datanode和Namenode路径发生的错误
- HDFS Append时packet的格式以及DataNode对block/checksum文件的处理
- 在eclipse,wordcount可以运行,DataNode,NameNode等进程也存在,但是localhost:50070无法访问,
- hdfs某台服务器datanode服务占用cpu过高
- hdfs某台服务器datanode服务占用cpu过高
- HDFS中的NameNode 和 DataNode
- Hadoop 之 数据流——客户端与HDFS,namenode和datanode 之间的数据流
- hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
- bunyan(一个用于node.js服务的JSON日志库)
- HDFS:NameNode、DataNode、SecondaryNameNode
- hdfs某台服务器datanode服务占用cpu过高
- hdfs某台服务器datanode服务占用cpu过高
- 如何将查出的日期Data类型以Json格式输出到前端
- 在HDFS集群中优化secondary namenode到datanode1节点上,并做重启hdfs集群后,datanode1启动失败
- HDFS Datanode数据存储格式分析
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制