flume初探 日志收集之flume-ng源码分析

摘要: flume初探、日志收集之flume-ng源码分析

flume NG核心概念

Event

Client

Agent

Source

Channel

Sink
a.Event是Flume数据传输的基本单元。
b.Flume以事件的形式将数据从源头传输到最终的目的地（如 HDFS）。
c.Event可由可选的header和载有数据的一个byte array构成。
d.Client是一个将原始log包装成 Events并且发送它们到一个或多个Agent实体。
e.Client在Flume的拓扑结构中不是必须的，它的目的是从数据源系统中解耦Flume。

f.一个Agent包含Source、Channel、Sink和其他组件。

g.Agent利用这些组件将Events从一个节点传输到另一个节点或最最终的目的地（文件系统：如 HDFS）。

h.Agent是Flume流的最重要的部分。

i.Flume为这些组件提供了配置、生命周期管理、监控支持。



flume初探：

http://blog.csdn.net/hpttlook/article/details/17012333

日志收集之flume-ng源码分析：

http://blog.csdn.net/hpttlook/article/details/22760547

flume学习（一）：log4j直接输出日志到flume

http://blog.csdn.net/xiao_jun_0820/article/details/37876773

【采集层】Kafka 与 Flume 如何选择
http://my.oschina.net/frankwu/blog/355298
Kafka 之 入门
http://my.oschina.net/frankwu/blog/303745
Kafka 之 中级
http://my.oschina.net/frankwu/blog/305010