部署Azkaban任务调度器demo
2016-10-14 10:53
477 查看
今天在虚拟机上面配置了一个Azkaban的任务调度器,这是由Linkedin公司开源的一个大批量工作流任务调度器(任务量不大的话crontab和hadoop的jobController 结合起来也可以实现任务的调度);
下面我们来部署下Azkaban:
1.需要下载三个包
azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
2.解压三个包
3.需要配置mysql数据库
flush privileges;切记要在赋权之后执行,不flush会导致赋权无效。导致后面启动azkaban的web容器会报访问mysql的azkaban库没有权限的错
4.配置azkaban web
首先进入azkaban的web目录并且创建一个key文件夹
然后进入key文件夹生成SSL 证书
上面命令执行会让你输入密码,这里全部使用azkaban,也会让你输入你的名字等信息这里我全部用的lijie(ps:你可以自己进行设置,这里只是为了安装方便)
配置conf/azkaban.properties
配置完成启动jetty容器:
5.配置azkaban-executor
编辑conf/azkaban.properties配置文件
启动executor
还可以安装很多的插件,这个网上也有很多例子。
到这里azkaban部署完成,用浏览器输入https://192.168.80.123:8443(我部署的机器IP是192.168.80.123),账号密码都是azkaban:
主界面:
下面我们来部署下Azkaban:
1.需要下载三个包
azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
2.解压三个包
tar -xzvf azkaban-executor-server-2.5.0.tar.gz tar -xzvf azkaban-sql-script-2.5.0.tar.gz tar -xzvf azkaban-web-server-2.5.0.tar.gz
3.需要配置mysql数据库
--1.进入mysql mysql -uroot -p --创建azkaban库 create database azkaban; --赋予权限 create user 'azkaban'@'%' identified by 'azkaban'; grant all on *.* to 'azkaban'@'%' identified by 'azkaban' with grant option; --flush flush privileges; --切换用户到azkaban exit mysql -uazkaban -pazkaban --在azkaban库里面执行保存azkaban一些相关元数据信息的sql脚本 use azkaban; source /usr/java/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
flush privileges;切记要在赋权之后执行,不flush会导致赋权无效。导致后面启动azkaban的web容器会报访问mysql的azkaban库没有权限的错
4.配置azkaban web
首先进入azkaban的web目录并且创建一个key文件夹
cd /usr/java/azkaban/azkaban-web-2.5.0/web mkdir key
然后进入key文件夹生成SSL 证书
keytool -genkey -keystore keystore -alias jetty-azkaban -keyalg RSA -validity 3560 keytool -export -alias jetty-azkaban -keystore keystore -rfc -file lijieAzkaban.cer keytool -import -alias certificatekey -file lijieAzkaban.cer -keystore truststore
上面命令执行会让你输入密码,这里全部使用azkaban,也会让你输入你的名字等信息这里我全部用的lijie(ps:你可以自己进行设置,这里只是为了安装方便)
配置conf/azkaban.properties
#Azkaban Personalization Settings azkaban.name=Test azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ default.timezone.id=Asia/Shanghai #Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager user.manager.xml.file=conf/azkaban-users.xml #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=localhost mysql.database=azkaban mysql.user=azkaban mysql.password=azkaban mysql.numconnections=100 # Velocity dev mode velocity.dev.mode=false # Azkaban Jetty server properties. # Azkaban Execeds=25 jetty.ssl.port=8443 jetty.port=8081 jetty.keystore=web/key/keystore jetty.password=azkaban jetty.keypassword=azkaban jetty.truststore=web/key/truststore jetty.trustpassword=azkaban executor.port=12321
配置完成启动jetty容器:
./bin/azkaban-web-start.sh
5.配置azkaban-executor
编辑conf/azkaban.properties配置文件
#Azkaban default.timezone.id=Asia/Shanghai # Azkaban JobTypes Plugins azkaban.jobtype.plugin.dir=plugins/jobtypes #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=localhost mysql.database=azkaban mysql.user=azkaban mysql.password=azkaban mysql.numconnections=100 # Azkaban Executor settings executor.maxThreads=50 executor.port=12321 executor.flow.threads=30
启动executor
./bin/azkaban-executor-start.sh
还可以安装很多的插件,这个网上也有很多例子。
到这里azkaban部署完成,用浏览器输入https://192.168.80.123:8443(我部署的机器IP是192.168.80.123),账号密码都是azkaban:
主界面:
相关文章推荐
- 任务调度器之azkaban(二)
- hadoop任务调度器---azkaban网址
- 任务调度器之azkaban(一)
- Azkaban调度mapreduce任务demo
- Spring任务调度器之Task的使用
- activiti学习--05流程实例:部署流程定义+部署流程定义+查询当前人的个人任务+完成我的任务
- 部署任务和演练
- Linux:crontab组件部署linux定时任务
- Azkaban的定时调度任务分析33:定时执行上文
- 多线程执行多任务的DEMO
- Spring任务调度器之Task的使用
- bae部署tornado demo
- Lucene在linux操作系统上的部署及demo使用方法
- Docker 部署 SpringBoot 项目整合 Redis 镜像做访问计数Demo
- Liferayの调度器-定时任务
- JFinal使用笔记1-部署demo项目到本地tomcat
- Gulp折腾记 - (3)常用任务构建的demo[改进版]
- quartz任务调度器的基本原理和使用方法,转载好文章只为大家搜索资源更方便
- Docker 部署 SpringBoot 项目整合 Redis 镜像做访问计数Demo
- Docker 部署 SpringBoot 项目整合 Redis 镜像做访问计数Demo