flume学习(五):flume将log4j日志数据写入到hdfs
2015-09-30 14:26
585 查看
1.将log4j的日志输出到agent的日志文件当中,应如何配置文件?
2.把log4j的日志直接采集输出到hdfs中去,如何修改flume.conf中sink的配置?
![](http://www.aboutyun.com/static/image/hrline/4.gif)
在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=avro
tier1.sources.source1.bind=0.0.0.0
tier1.sources.source1.port=44444
tier1.sources.source1.channels=channel1
tier1.channels.channel1.type=memory
tier1.channels.channel1.capacity=10000
tier1.channels.channel1.transactionCapacity=1000
tier1.channels.channel1.keep-alive=30
tier1.sinks.sink1.type=logger
tier1.sinks.sink1.channel=channel1
复制代码
本次我们把log4j的日志直接采集输出到hdfs中去。需要修改flume.conf中sink的配置:
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=avro
tier1.sources.source1.bind=0.0.0.0
tier1.sources.source1.port=44444
tier1.sources.source1.channels=channel1
tier1.channels.channel1.type=memory
tier1.channels.channel1.capacity=10000
tier1.channels.channel1.transactionCapacity=1000
tier1.channels.channel1.keep-alive=30
tier1.sinks.sink1.type=hdfs
tier1.sinks.sink1.channel=channel1
tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events
tier1.sinks.sink1.hdfs.fileType=DataStream
tier1.sinks.sink1.hdfs.writeFormat=Text
tier1.sinks.sink1.hdfs.rollInterval=0
tier1.sinks.sink1.hdfs.rollSize=10240
tier1.sinks.sink1.hdfs.rollCount=0
tier1.sinks.sink1.hdfs.idleTimeout=60
复制代码
简单说明一下修改的部分,我们将sink的type由logger变为hdfs,然后指定输出path, 默认是输出到HDFS后为sequencefile,里面的内容无法直接打开浏览,为了便于直观看到我们输出的日志信息,所以我这里将fileType为DataStream, writeFormat=Text,这样就可以直接打开生成的文件进行查看了。
下面几个roll开头的参数都是用来控制滚动日志输出的,官方文档上的说明也很详细,我这里配置的只按文件大小来滚动rollSize=10240,也就是10K滚动生成一个新的文件用来接收新的EVENTS。实际中这个Size应该更大一些,我觉得设置成HDFS的blocksize大小应该挺合适的。
idleTimeout设置为60秒(默认值为0),这里面的原理是这样的,flume里面每生成一个接收文件时的命名规则如:FlumeData.1406251462179.tmp,.tmp表示这个文件正在被使用来接收EVENTS,当满10K之后,这个文件会被rename成FlumeData.1406251462179,把.tmp后缀去掉,但是如果你停止了应用程序后,FlumeData.1406251462179.tmp还没满10K,按照默认的idleTimeout设置,不会将它rename,也就是.tmp后缀一直在,造成了这个文件一直在使用当中的一个假象,这是有问题的,我们设置idleTimeout=60,即60秒后这个文件还没有被写入数据,就会关闭它然后rename它去掉.tmp,以后新进来的events,会新开一个.tmp文件来接收。
我们再运行第一篇文章中的那个示例应用程序,然后去path指定的目录下面就能看到log4j输出的日志信息了。
补充注意点(针对cm安装的flume):
首先在hdfs上创建/flume目录:hadoop fs -mkdir /flume
给该目录授权给flume用户和组:hadoop fs -chown -R flume:flume /flume
注意给目录授权很重要,不然会报错。
转自:
http://www.aboutyun.com/thread-12039-1-1.html
原文来自:
http://blog.csdn.net/xiao_jun_0820/article/details/38119123
flume学习(五):flume将log4j日志数据写入到hdfs
flume学习(六):使用hive来分析flume收集的日志数据
flume学习(七)、(八):如何使用event header中的key值以及自定义source
flume学习(九):自定义拦截器
flume学习(十):使用Morphline Interceptor
flume学习(十一):如何使用Spooling Directory Source
2.把log4j的日志直接采集输出到hdfs中去,如何修改flume.conf中sink的配置?
![](http://www.aboutyun.com/static/image/hrline/4.gif)
在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=avro
tier1.sources.source1.bind=0.0.0.0
tier1.sources.source1.port=44444
tier1.sources.source1.channels=channel1
tier1.channels.channel1.type=memory
tier1.channels.channel1.capacity=10000
tier1.channels.channel1.transactionCapacity=1000
tier1.channels.channel1.keep-alive=30
tier1.sinks.sink1.type=logger
tier1.sinks.sink1.channel=channel1
复制代码
本次我们把log4j的日志直接采集输出到hdfs中去。需要修改flume.conf中sink的配置:
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=avro
tier1.sources.source1.bind=0.0.0.0
tier1.sources.source1.port=44444
tier1.sources.source1.channels=channel1
tier1.channels.channel1.type=memory
tier1.channels.channel1.capacity=10000
tier1.channels.channel1.transactionCapacity=1000
tier1.channels.channel1.keep-alive=30
tier1.sinks.sink1.type=hdfs
tier1.sinks.sink1.channel=channel1
tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events
tier1.sinks.sink1.hdfs.fileType=DataStream
tier1.sinks.sink1.hdfs.writeFormat=Text
tier1.sinks.sink1.hdfs.rollInterval=0
tier1.sinks.sink1.hdfs.rollSize=10240
tier1.sinks.sink1.hdfs.rollCount=0
tier1.sinks.sink1.hdfs.idleTimeout=60
复制代码
简单说明一下修改的部分,我们将sink的type由logger变为hdfs,然后指定输出path, 默认是输出到HDFS后为sequencefile,里面的内容无法直接打开浏览,为了便于直观看到我们输出的日志信息,所以我这里将fileType为DataStream, writeFormat=Text,这样就可以直接打开生成的文件进行查看了。
下面几个roll开头的参数都是用来控制滚动日志输出的,官方文档上的说明也很详细,我这里配置的只按文件大小来滚动rollSize=10240,也就是10K滚动生成一个新的文件用来接收新的EVENTS。实际中这个Size应该更大一些,我觉得设置成HDFS的blocksize大小应该挺合适的。
idleTimeout设置为60秒(默认值为0),这里面的原理是这样的,flume里面每生成一个接收文件时的命名规则如:FlumeData.1406251462179.tmp,.tmp表示这个文件正在被使用来接收EVENTS,当满10K之后,这个文件会被rename成FlumeData.1406251462179,把.tmp后缀去掉,但是如果你停止了应用程序后,FlumeData.1406251462179.tmp还没满10K,按照默认的idleTimeout设置,不会将它rename,也就是.tmp后缀一直在,造成了这个文件一直在使用当中的一个假象,这是有问题的,我们设置idleTimeout=60,即60秒后这个文件还没有被写入数据,就会关闭它然后rename它去掉.tmp,以后新进来的events,会新开一个.tmp文件来接收。
我们再运行第一篇文章中的那个示例应用程序,然后去path指定的目录下面就能看到log4j输出的日志信息了。
补充注意点(针对cm安装的flume):
首先在hdfs上创建/flume目录:hadoop fs -mkdir /flume
给该目录授权给flume用户和组:hadoop fs -chown -R flume:flume /flume
注意给目录授权很重要,不然会报错。
转自:
http://www.aboutyun.com/thread-12039-1-1.html
原文来自:
http://blog.csdn.net/xiao_jun_0820/article/details/38119123
flume学习(五):flume将log4j日志数据写入到hdfs
flume学习(六):使用hive来分析flume收集的日志数据
flume学习(七)、(八):如何使用event header中的key值以及自定义source
flume学习(九):自定义拦截器
flume学习(十):使用Morphline Interceptor
flume学习(十一):如何使用Spooling Directory Source
相关文章推荐
- HDFS序列化
- 解决从本地文件系统上传到HDFS时的权限问题
- 解决从本地文件系统上传到HDFS时的权限问题
- HDFS基本命令
- hadoop2.7.0升级到2.7.1,版本升级
- 解读HDFS
- HDFS详细介绍
- HDFS命令
- hadoop2.7.0集群,使用中遇到的bug及解决办法
- Hadoop 目前只是“穷人的 ETL”
- 学习日志---mapreduce详细过程分析
- Kafka+Storm+HDFS整合实践
- flume-ng+Kafka+Storm+HDFS 实时系统搭建
- 自定义/指定 HDFS Block存放位置
- HDFS 2.7.1 所有配置项
- hadoop-yarn启动流程分析
- 深入理解hadoop yarn
- 自动化挂载HDFS文件系统到本地目录
- spark读取hdfs数据本地性异常
- spark读取hdfs数据本地性异常