Azkaban——安装指南
来源:互联网 发布:asp、php全能环境代码 编辑:程序博客网 时间:2024/05/17 23:05
最近项目迁移到新集群,试试同事推荐的开源任务调度程序-azkaban,azikaban主要用来解决hadoop依赖任务的执行,但是它本身支持linux和java程序,因此适合做小项目的任务调度管理程序。
它有三个重要组件:
1 关系数据库(目前仅支持mysql)
2 web管理服务器-AzkabanWebServer
3 执行服务器-AzkabanExecutorServer
图1 组件
开始
Azkaban有三种运行模式:
1 solo server mode:最简单的模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大项目可以采用此模式。
2 two server mode:数据库为mysql,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响
3 multiple executor mode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。
我们项目要求不是太高,我这次采用第二种模式,管理服务器、执行服务器分进程,但在同一台主机上。
安装
azkaban和官方说的一样,简单易用,先到官网下载相关包并解压,我下载的是:
azkaban-executor-server-2.5.0.tar.gz(执行服务器)azkaban-web-server-2.5.0.tar.gz(管理服务器)azkaban-sql-script-2.5.0.tar.gz(mysql脚本)
数据库安装配置
数据库创建
#不一定非要命名为'azkaban'mysql>CREATE DATABASE azkaban; #创建用户和密码mysql>CREATE USER 'username'@'%'IDENTIFIED BY 'password'; #给用户相关权限mysql>GRANT SELECT,INSERT,UPDATE,DELETEON <database>.* to '<username>'@'%' WITH GRANT OPTION;
数据库配置
编辑/etc/my.cnf
[mysqld]max_allowed_packet=1024M
重启服务器
执行脚本
执行下载包azkaban-sql-script-2.5.0.tar.gz中脚本“create-all-sql”
检查下载包web和executor的lib文件下是否有mysql驱动,若不存在,则拷贝一个
web管理服务器(azkaban-web-2.5.0)
有几个重要目录和配置文件
文件夹 解释bin 用来存放启动和停止脚本conf<span style="font-family: Arial, Helvetica, sans-serif;"> </span>配置文件,最重要的配置azkaban.propertieslib jar文件,查看是否存在mysql驱动extlib 扩展libplugins 扩展插件,有hdfs、hive、pig等web web目录
配置conf中azkaban.properties,其他默认即可
#设置项目名称azkaban.name=BigData#设置项目副标题azkaban.label=besttone#一定要设置为上海,否则按美国时间执行default.timezone.id=Asia/Shanghaidatabase.type=mysqlmysql.port=3306mysql.host=localhost#改为自己的数据库名称mysql.database=azkaban#改为自己的数据库账号mysql.user=azkaban#改为自己的数据库密码mysql.password=azkaban_abc mail.sender=email账号mail.host=email服务器mail.user=email账号mail.password=email密码 #Azkaban Jetty 服务设置,先安装此配置,后面再详细介绍生产方法.jetty.maxThreads=25jetty.ssl.port=8443jetty.port=8081jetty.keystore=web/keystorejetty.password=besttonejetty.keypassword=besttonejetty.truststore=web/truststorejetty.trustpassword=besttone
jetty ssl配置
jetty ssl keystore生成
keytool -genkey -keystore keystore -aliasjetty-azkaban -keyalg RSA -validity 3560
根据提示输入相关信息,我的密码为besttone,和上面的password对应
keytool -export -alias jetty-azkaban-keystore keystore -rfc -file selfsignedcert.cer
过程中如果要输入密码,请输入之前密码
keytool -import -alias certificatekey -fileselfsignedcert.cer -keystore truststore
这时候在web目录下新建key目录,将生成的keystore,truststore拷贝进去
执行启动命令
./bin/azkaban-web-start.sh
也可以执行nohup,后台运行
nohup ./bin/azkaban-web-start.sh &
关闭命令
./bin/azkaban-web-shutdown.sh
访问https://localhost:8443
输入账号和密码,都是azkaban,如果要更改,请修改conf/azkaban-users.xml文件
至此已经可以看到web管理界面了,下面执行需要启动执行服务器。
ps:如果本地可以执行,远程无法执行,看是否远程服务器禁用8443端口,将8443改为8888即可。
3.执行服务器
修改conf/azkaban.properties文件,其他默认
default.timezone.id=Asia/Shanghaidatabase.type=mysqlmysql.port=3306mysql.host=localhostmysql.database=azkabanmysql.user=azkabanmysql.password=azkaban_abc
执行脚本,启动执行服务器
./bin/azkaban-executor-start.sh
也可以执行nohup,后台运行
nohup ./bin/azkaban-executor-start.sh &
关闭命令
./bin/azkaban-executor-shutdown.sh
4.安装扩展控件
azkaban有很多插件,hdfs、hive、pig等,如有兴趣自行安装,本次项目未用到
http://www.jianshu.com/p/cc680380ca34
- Azkaban——安装指南
- 踩坑记——Azkaban Hdfs Plugin 安装
- Azkaban——使用指南
- Azkaban安装
- Azkaban安装
- azkaban安装
- 二、azkaban 指南
- Azkaban安装与应用
- azkaban 3.0 编译安装
- azkaban 的安装
- azkaban安装使用
- azkaban安装使用
- Azkaban 3.X 安装
- azkaban安装与使用
- Azkaban安装部署
- azkaban 2.5 安装详解
- azkaban编译以及安装
- azkaban安装部署
- ffmpeg解码流程
- 安卓webview html5 自动播放本地视频,网上视频,可以循环播放
- 制作u盘启动linux系统
- AS 你不得不知的配置跟快捷键
- RDD与DataFrame动态转换(Java)
- Azkaban——安装指南
- python 数组相关知识总结(未完)
- Android中WebView中拦截所有请求并替换URL(支持AJAX的post请求类型)
- SPOJ PT07J Query on a tree II
- fail-fast机制
- python——requests
- unity语音聊天--亲加通讯云(Android/iOS)---ios
- Android帧动画(WiFi动画)
- Eclipse 与 Android Studio 差异