Flume的安装与简单使用
2017-11-26 14:06
337 查看
本文环境如下:
操作系统:CentOS 7.2.1511 64位
Flume版本:1.6.0
Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。
到Flume官网上
2
3
输入以下内容
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
2
写入
接着就可以在前一个终端看到刚刚采集的内容了,如下:
至此flume已经能够正常运行。
原文http://blog.csdn.net/lnho2015/article/details/52035145
操作系统:CentOS 7.2.1511 64位
Flume版本:1.6.0
1. 系统需求
Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。
2. 下载软件包
到Flume官网上http://flume.apache.org/download.html下载软件包,例如:
wget "http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz" tar -xzvf apache-flume-1.6.0-bin.tar.gz mv flume-1.6.0 /opt1
2
3
3. 简单示例
3.1 修改配置文件
vi /opt/flume-1.6.0/conf/flume.conf1
输入以下内容
# 指定Agent的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 指定Flume source(要监听的路径) a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /root/path # 指定Flume sink a1.sinks.k1.type = logger # 指定Flume channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 绑定source和sink到channel上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c11
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
3.2 启动flume agent
cd /opt/flume-1.6.0 bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console1
2
参数 | 作用 | 举例 |
---|---|---|
–conf 或 -c | 指定配置文件夹,包含flume-env.sh和log4j的配置文件 | –conf conf |
–conf-file 或 -f | 配置文件地址 | –conf-file conf/flume.conf |
–name 或 -n | agent名称 | –name a1 |
-z | zookeeper连接字符串 | -z zkhost:2181,zkhost1:2181 |
-p | zookeeper中的存储路径前缀 | -p /flume |
3.3 写入日志内容
vi 1.log1
写入
Hello Flume.作为测试内容。然后拷贝到flume监听路径。
cp 1.log /root/path/1
接着就可以在前一个终端看到刚刚采集的内容了,如下:
2016-06-27 10:02:58,322 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 48 65 6C 6C 6F 20 77 6F 72 6C 64 0D Hello Flume. }1
至此flume已经能够正常运行。
原文http://blog.csdn.net/lnho2015/article/details/52035145
相关文章推荐
- Flume安装及简单使用
- flume1.4.0安装及简单使用
- Flume的安装及简单的使用(一)
- 日志收集框架flume的安装及简单使用
- Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理
- flume 安装和简单使用
- Flume安装及简单使用
- flume的安装和简单使用
- Flume的安装及简单的使用(二)
- 使用WiX制作简单MSI安装程序
- 最简单的cvs与MyEclipse安装配置使用
- Cacti的插件安装及简单使用
- archlinux 简单安装、配置、使用(部分原创,部分转贴)
- PostgreSQL安装和简单使用
- Qt串口类库QExtSerialPort的安装与简单使用
- PostgreSQL安装和简单使用
- PostgreSQL安装和简单使用
- CKEditor 3.0(FCKEditor3.0)的简单安装配置使用
- CKEditor 3.0(FCKEditor3.0)的简单安装配置使用
- VisualStudio 2010 Beta1 开始简单用一下(2008共存)-从安装到使用发几张图片 (*^__^*)