为什么需要flume以及flume的原理
2018-01-11 13:00
274 查看
1.为什么要有flume?
flume的设计宗旨是向hadoop集群批量导入基于事件的海量数据。一个典型的例子就是利用flume从一组web服务器中收集日志文件,然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理,所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
2.flume的本质是什么?
要想使用 flume,就需使用flume的代理(agent),Flume的代理agent是由持续运行的source(数据源),sink(数据目标)以及channel(用于连接source源和sink目标地的通道)构成的Java进程
Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成。每一个agent(进程)相当于一个数据传递员,内部有三个组件:
①Source:采集源,用于跟数据源对接,以获取数据
②Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
③Channel:angent内部的数据传输通道,用于从source将数据传递到sink
注意:.Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。面对具体不同的采集源,有不同的实现类,同理sink也是,所以不需要我们编程。
3.flume实际开发中常见的采集系统结构图
1.单个agent采集数据。
2.复杂结构:多级agent之间串联
注意,多个agent级联时:一个source可以对接多个chanel,但是一个chanel只能对接一个sink
下面一章讲解flume的配置使用,以及核心原理分析
flume的设计宗旨是向hadoop集群批量导入基于事件的海量数据。一个典型的例子就是利用flume从一组web服务器中收集日志文件,然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理,所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
2.flume的本质是什么?
要想使用 flume,就需使用flume的代理(agent),Flume的代理agent是由持续运行的source(数据源),sink(数据目标)以及channel(用于连接source源和sink目标地的通道)构成的Java进程
Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成。每一个agent(进程)相当于一个数据传递员,内部有三个组件:
①Source:采集源,用于跟数据源对接,以获取数据
②Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
③Channel:angent内部的数据传输通道,用于从source将数据传递到sink
注意:.Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。面对具体不同的采集源,有不同的实现类,同理sink也是,所以不需要我们编程。
3.flume实际开发中常见的采集系统结构图
1.单个agent采集数据。
2.复杂结构:多级agent之间串联
注意,多个agent级联时:一个source可以对接多个chanel,但是一个chanel只能对接一个sink
下面一章讲解flume的配置使用,以及核心原理分析
相关文章推荐
- Spring aop 基于JDK动态代理和CGLIB代理的原理以及为什么JDK代理需要基于接口
- hibernate 3.* C3P0配置 以及为什么需要连接池!
- 关于不可变架构以及为什么需要不可变架构
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter
- OpenGL编程指南-->深度缓冲区原理以及为什么要用它
- hibernate延迟加载lazy的原理,以及为什么session关闭会报错
- 为什么ESP8266 TCP透传过程会丢包?8266流控原理以及如何设置
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter
- 深度缓冲区原理以及为什么要用它
- C++函数重载实现的原理以及为什么在C++中调用C语言编译的函数时要加上extern "C"声明
- 三次握手的过程,四次握手的过程以及为什么需要三次握手?
- 【基本知识】Flume基本环境搭建以及原理
- 为什么要学习框架以及框架的原理
- 什么是虚拟专用服务器(VDS),以及为什么需要它
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter
- 依赖注入原理(为什么需要依赖注入)
- 关于为什么需要设置request.setCharacterEncoding以及适用范围问题
- OpenSessionInViewFilter原理以及为什么要用OpenSessionInViewFilter