工作流调度器之Azkaban
2018-01-18 10:33
281 查看
Azkaban1. 工作流调度器概述1.1. 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示:1、通过Hadoop先将原始数据同步到HDFS上;2、借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;3、需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;4、将明细数据进行复杂的统计分析,得到结果报表信息;5、需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。1.2. 工作流调度实现方式简单的任务调度:直接使用linux的crontab来定义复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如ooize、azkaban等1.3. 常见工作流调度系统市面上目前有许多工作流调度器,在hadoop领域,常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等1.4. 各种调度工具特性对比下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较,尽管这些工作流调度器能够解决的需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在做技术选型的时候,可以提供参考
1.5. Azkaban与Oozie对比对市面上最流行的两种调度器,给出以下详细对比,以供技术选型参考。总体来说,ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度器azkaban是很不错的候选对象。
2. Azkaban介绍Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:Web用户界面方便上传工作流方便设置任务之间的关系调度工作流认证/授权(权限的工作)能够杀死并重新启动工作流模块化和可插拔的插件机制项目工作区工作流和任务的日志记录和审计2.1. Azkaban组成部分mysql服务器:用于存储项目、日志或者执行计划之类的信息web服务器:使用Jetty对外提供web服务,使用户可以通过web页面方便管理executor服务器:负责具体的工作流的提交、执行2.1. 各个元素及其关系Azkaban界面中的主要元素有三个,分别是project、job与flowproject可以理解为某个项目,其项目中包含了许多需要执行的任务,即为job,各个job之间形成依赖关系,便组成了工作流flow2.2. 创建 job和flow在Azkaban系统的web界面中有创建project的交互,可以通过界面创建一个project,但是Azkaban没有创建job与flow的界面,这一点很讨厌。于是需要编写以.job为扩展名的文件然后上传,才能在系统中形成job任务
1.5. Azkaban与Oozie对比对市面上最流行的两种调度器,给出以下详细对比,以供技术选型参考。总体来说,ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度器azkaban是很不错的候选对象。
2. Azkaban介绍Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:Web用户界面方便上传工作流方便设置任务之间的关系调度工作流认证/授权(权限的工作)能够杀死并重新启动工作流模块化和可插拔的插件机制项目工作区工作流和任务的日志记录和审计2.1. Azkaban组成部分mysql服务器:用于存储项目、日志或者执行计划之类的信息web服务器:使用Jetty对外提供web服务,使用户可以通过web页面方便管理executor服务器:负责具体的工作流的提交、执行2.1. 各个元素及其关系Azkaban界面中的主要元素有三个,分别是project、job与flowproject可以理解为某个项目,其项目中包含了许多需要执行的任务,即为job,各个job之间形成依赖关系,便组成了工作流flow2.2. 创建 job和flow在Azkaban系统的web界面中有创建project的交互,可以通过界面创建一个project,但是Azkaban没有创建job与flow的界面,这一点很讨厌。于是需要编写以.job为扩展名的文件然后上传,才能在系统中形成job任务
相关文章推荐
- 工作流调度器azkaban2.5.0的安装和使用
- 工作流调度器Azkaban学习
- 工作流调度器azkaban 安装
- 工作流调度器azkaban
- 工作流调度器Azkaban的安装配置
- hadoop任务调度器---azkaban网址
- Hadoop工作流:Oozie与Azkaban
- 任务调度器之azkaban(一)
- Azkaban工作流调度器
- azkaban 工作流使用
- 任务调度器之azkaban(二)
- 工作流调度系统介绍,常见工作流调度系统对比,azkaban与Oozie对比,Azkaban介绍与特性(来自学习笔记)
- (8) Hadoop-工作流调度器azkanban
- 部署Azkaban任务调度器demo
- 工作流调度器Azkaban学习
- Azkaban 工作流调度器
- 2种hadoop工作流调度器比较(Oozie、Azkaban)
- 工作流调度器azkaban(以及各种工作流调度器比对)
- 工作流调研 oozie vs azkaban
- azkaban 创建工作流