Flume

摘要: Apache Flume 日志收集

Apache flume 官网：http://flume.apache.org/
flume原理及使用：http://www.open-open.com/doc/view/76c85e1d61c3403e8d2b26f0e02dc7e9
参考网站：http://www.ttlsa.com/log-system/about-flume-ng-1/
概览

Flume是一个分布式，可靠，和高可用的海量日志聚合收集系统。它是一个基于流媒体数据流简单而灵活的架构，具有可靠的故障转移和故障恢复机制，通过一个简单的数据模型实现应用在线分析。

Apache flume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动从众多不同来源的海量日志数据并集中存储这些数据。

使用Apache flume不仅限于日志数据聚合,由于数据源是可定制的,flume可以用来传输海量事件数据，这些数据不仅仅是网络流量数据，可以是 social-media-generated数据、电子邮件消息和几乎任何数据源。

Apache flume 是Apache 软件基金会的一个顶级项目；
目前有两个版本可用0.9.x (Flume OG(original generation))和 1.x. , 1.x 以上版本也叫 Flume NG （flume generation）;
以下是简单的日志收集模型：
Agent 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks
Client 生产数据，运行在一个独立的线程

Source 从Client收集数据，传递给Channel

Sink 从Channel收集数据，运行在一个独立线程

Channel 连接 sources 和 sinks ，这个有点像一个队列

Events 可以是日志记录、 avro 对象等