flume实例二、监听目录日志上传到HDFS文件系统
2015-07-31 17:45
836 查看
一、概述
二、部署安装
1、先安装hadoop,这里安装的是hadoop-2.6.0,必须和flume安装在同一机器上,因为flume在启动过程中会依赖hadoop的lib包,只有配置安装了hadoop之后,在~flume/bin下的flume-ng命令中会查找hadoop的安装目录。如图
![](http://images0.cnblogs.com/blog/786743/201507/311745033293689.png)
2、启动脚本
接实例一,实例一中server-aget是把日志上传保存到服务器上面,随着日志越来越大,公司启动了hadoop项目,需要把日志直接上传hdfs中保存,配置文件target_hdfs.conf如下:
a2.sources = r2 a2.channels = c2 a2.sinks = k2 #source a2.sources.r2.type = avro a2.sources.r2.channels = c2 a2.sources.r2.compression-type = deflate a2.sources.r2.bind = localhost a2.sources.r2.port = 5281 a2.sources.r2.interceptors = i1 a2.sources.r2.interceptors.i1.type = com.landray.behavior.interceptor.BehaviorServerSerurityInterceptor$Builder a2.channels = c2 a2.channels.c2.type = file a2.channels.c2.checkpointDir = ./checkpoint a2.channels.c2.dataDirs = ./data a2.channels.c2.transactionCapacity = 20000 a2.sinks = k2 a2.sinks.k2.type = hdfs a2.sinks.k2.channel = c2 #文件目录,每个月生成一个目录 a2.sinks.k2.hdfs.path = hdfs://192.168.5.126:9000/logs/%Y-%m/ #设置使用时间 a2.sinks.k2.hdfs..useLocalTimeStamp = true a2.sinks.k2.hdfs.batchSize = 20000 a2.sinks.k2.hdfs.fileType=DataStream #不基于时间创建文件 a2.sinks.k2.hdfs.rollInterval=0 #不基于大小创建文件 a2.sinks.k2.hdfs.rollSize = 0 #不基于个数创建文件 a2.sinks.k2.hdfs.rollCount = 0 a2.sinks.k2.hdfs.threadsPoolSize=15 #操作超时 a2.sinks.k2.hdfs.callTimeout=30000
二、部署安装
1、先安装hadoop,这里安装的是hadoop-2.6.0,必须和flume安装在同一机器上,因为flume在启动过程中会依赖hadoop的lib包,只有配置安装了hadoop之后,在~flume/bin下的flume-ng命令中会查找hadoop的安装目录。如图
![](http://images0.cnblogs.com/blog/786743/201507/311745033293689.png)
2、启动脚本
bin/flume-ng agent --conf conf --conf-file target_file.conf --name a2 -Dflume.root.logger=INFO,console
相关文章推荐
- HDFS数据完整性解析
- Hadoop2.5.2+HA+zookeeper3.4.6详细配置过程
- HDFS Balancer(翻译)
- HDFS读写过程
- HDFS Trash 整理
- HDFS SnapShot学习
- HDFS RPC源码分析
- DEPRECATED: Use of this script to execute hdfs command is deprecated
- 利用SQOOP将数据从数据库导入到HDFS
- Flume和HDFS的整合问题
- hdfs-site.xml
- HDFS Federation
- HDFS HA QJM
- flume-ng+Kafka+Storm+HDFS 实时系统搭建
- Flume监听文件目录sink至hdfs配置
- hadoop1.x和2.x版本配置的区别
- hadoop集群配置与MapReduce性能调优
- hive 查询结果导入到hdfs中 row format 报错
- 在Ubuntu下使用Eclispe连接HDFS时拒绝链接解决方案
- HDFS客户端的权限错误:Permission denied