Azkaban简介及安装教程
来源:互联网 发布:网络应急演练总结报告 编辑:程序博客网 时间:2024/06/06 07:54
什么是Azkaban?
Azkaban是一种类似于Oozie的工作流控制引擎,可以用来解决多个Hadoop计算任务之间的依赖关系问题。
Azkaban由以下3个组件构成:
一、MySQL数据库
Azkaban使用MySQL来存储它的状态信息,Azkaban Executor Server和Azkaban Web Server均使用到了MySQL数据库。
AzkabanExecutorServer在如下几个方面使用到了数据库:
1、获取project的信息
2、执行工作流
3、存储工作流运行日志
AzkabanWebServer在如下几个方面使用到了数据库:
1、Project管理
2、跟踪工作流执行进度
3、访问历史工作流的运行信息
4、定时执行工作流任务
二、AzkabanWebServer
AzkabanWebserver是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执行进度等一系列任务。同时,它还提供Web服务操作的接口,利用该接口,用户可以使用curl或其他ajax的方式,来执行azkaban的相关操作。操作包括:用户登录、创建project、上传workflow、执行workflow、查询workflow的执行进度、杀掉workflow等一系列操作,且这些操作的返回结果均是json的格式。
三、AzkabanExecutorServer
之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。
两种不同类型的Azkaban
solo server mode:该模式使用H2数据库,且webServer和executorServer运行在同一个进程中,没有单独分开。该模式适用于小规模的使用。
two server mode:该模式使用MySQL数据库,webServer和executorServer运行在不同进程中,该模式适用于大规模应用。
Solo Server Mode安装教程
一、从Azkaban的官网上下载azkaban-solo-server(下载地址:http://azkaban.github.io/downloads.html)。解压后,应包含以下文件夹:
bin 存放着启动Azkaban的jetty服务器的脚本文件
conf 存放Azkaban solo server的配置文件
lib Azkaban所需的jar包
extlib 存放至extlib下的jar包将会被添加至Azkaban的classpath
plugins Azkaban的plugins安装文件夹
Web Azkaban web服务器的文件存放地址,文件如css、javascript、image等
重点介绍下conf文件夹,在该文件夹内,有如下几个文件:
azkaban.private.properties用于设置Azkaban运行时的一些参数
azkaban.properties同上
global.properties该文件用于设置全局静态属性,所有工作流均可访问到这些属性
azkaban-user.xmlazkaban用户信息文件,用于配置azkaban的使用用户及用户组
二、配置SSL的KeyStore(可选操作,如果需要使用azkaban的ajax api,则必须执行该步操作)
1、在azkaban根目录下执行命令(该命令将在根目录下生成SSL所需的keystore文件):keytool -keystore keystore -alias jetty -genkey -keyalg RSA
根据个人配置填写以下参数:
keystore password:azkaban
first and last name:
name of organizational unit:
name of organization:
name of City:
name of province:
two-letter country code for this unit:
key password for <jetty>:azkaban
2、生成keystore文件后,根据实际情况修改conf/azkaban.properties文件里的内容:
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban
三、启动web服务
在azkaban的根目录下执行bin/azkaban-solo-start.sh 脚本。多说两句:必须使用bin/azkaban-solo-start.sh或绝对路径方式执行脚本,否则会因为相对路径的问题,而导致azkaban无法找到相关配置文件,报错:“cannot find 'database.properties' file in sql/database.properties”。
四、如上成功配置好后,执行命令(前提是安装了curl):curl -k -X POST --data "action=login&username=azkaban&password=azkaban" https://localhost:8043。若无误,则应返回json格式的session.id和status信息
- Azkaban简介及安装教程
- azkaban简介
- 【MongoDB】简介及安装教程
- Azkaban-2.5及Plugins的安装配置
- linux下azkaban安装及示例
- Azkaban安装
- Azkaban安装
- azkaban安装
- Redis简介及单机版安装教程
- azkaban 入门简介
- Azkaban简介和使用
- Azkaban简介与使用
- Azkaban安装与应用
- azkaban 3.0 编译安装
- azkaban 的安装
- azkaban安装使用
- azkaban安装使用
- Azkaban 3.X 安装
- hca卡快速安装与验证参考
- 不要浪费时间去写所谓的完美代码
- linux网络分析之回环网卡
- 使用jackson工具类把对象或集合转为JSON格式
- 社説 20150120 小中学校統廃合 地域の将来見据えて進めたい
- Azkaban简介及安装教程
- Echarts图表
- C/C++ 趋向于运算符的恶作剧
- Chapter10-IO完成端口
- 求阶乘和(26以内)
- 弹出div窗口进行图片上传操作思路
- 交换机网络嗅探方法之欺骗交换机缓存
- 天祥 TX2440 UBOOT移植(1. 从NORFLASH中运行)
- AS配置SVN