Azkaban2官方配置文档
来源:互联网 发布:淘宝店信誉怎么算 编辑:程序博客网 时间:2024/04/28 16:46
最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~
介绍
Azkaban2新功能:
1、Web UI
2、简单工作流上传
3、更容易设置job的依赖关系
4、调度工作流
5、权限设置
6、Kill和restart工作流
7、模块化和插件化
8、日志和设计工作流和job
搭建
Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:
l MySQL
l Azkaban Web Server - 是一个和web接口一样的充当控制器功能的Jetty Server
l Azkaban Executor Server - 用于提交工作流
下载
需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。
下载地址:
https://github.com/azkaban/azkaban2/wiki/Download-Packages
搭建数据库
现在,Azkaban只能用MySQL进行数据存储。
l 下载azkaban-sql-script tar包。
l 运行包中的mysql脚本来创建数据库表。
获取JDBC驱动jar包
下载地址:http://www.mysql.com/downloads/connector/j/
搭建Web Server
下载并安装
1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。
2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这 个目录下的外部引入jar包。
在 conf 目录下,会有以下几个文件:
文件
描述
azkaban.properties
用于Azkanba运行时的属性配置
global.properties
全局静态属性,作为共享属性共享给每一个工作流程和job
azkaban-users.xml
用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用
搭建SSL
Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:
http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:
jetty.keystor-keystore
jetty.password=password
jetty.keypassword=password
jetty.truststore=keystore
jetty.trustpassword=password
搭建UserManager
Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:
l user.manager.class=azkaban.user.XmlUserManager
l User.manager.xml.file=conf/azkaban-users.xml
接下来是一个azkaban-users.xml文件的例子:
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>
<role name="admin" permissions="ADMIN" />
</azkaban-users>
也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban2
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
配置主机和端口号
配置azkaban.properties中的属性:
executor.port=12321
executor.host=<url>
搭建Web Client
Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口 号和连接的数量。
颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。
安装可视化插件
之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。
为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。
运行Web Server
Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。
-------------------------------------------------------------------------------------------------------
Azkaban Web Server设置
一般属性
Property
Description
Default
azkaban.name
将会在Azkaban UI中展示出来的azkaban的名字
Local
azkaban.label
一个描述Azkaban实例的标签
My Local Azkaban
azkaban.color
设置Azkaban UI颜色的一个十六进制的值
#FF3601 (red)
web.resource.dir
设置UI的css和javascript文件存放的路径
src/web
default.timezone
默认的时区
America/Los_Angeles
user.manager.class
用户管理用户权限的 user manager。默认是XmlUserManager
azkaban.user.XmlUserManager
mail.sender
邮件发送的地址
mail.host
邮件server主机地址
mail.user
邮件server用户名
mail.password
邮件server密码
azkaban.should.proxy
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除
false
proxy.keytab.location
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除
proxy.user
代理用户
viewer.plugin.dir
可视化插件被安装到的目录
plugins/viewer
Jetty 属性
Property
Description
Default
jetty.maxThreads
最大请求线程数
25
jetty.ssl.port
Ssl端口号
8443
jetty.keystore
The keystore file
keystore
jetty.password
Jetty password
password
jetty.keypassword
The keypassword
password
jetty.truststore
The trust store
keystore
jetty.trustpassword
The trust password
password
Mysql连接属性
Property
Description
Default
database.type
数据库类型,现在只支持mysql
mysql
mysql.port
Mysql数据库的端口号
3306
mysql.host
Mysql数据库的主机地址
localhost
mysql.database
Mysql数据库名称
azkaban2
mysql.user
mysql user
azkaban
mysql.password
mysql password
password
mysql.numconnections
Azkaban webclient可以开放给数据库的连接数量
100
Execurot Sercer属性
Properties
Description
Default
executor.port
azkaban executor server端口号
12321
executor.host
azkaban executor server主机地址
localhost
设置Executor Server
下载和安装
1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。
2、Copy jdbc驱动jar包到./extlib目录下。
File
Description
azkaban.properties
Azkaban运行时属性
global.properties
全局静态属性,作为共享属性共享给每一个工作流程和job
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban2
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
配置主机和端口号
配置azkaban.properties中的属性:
executor.maxThreads=50
executor.port=12321
-----------------------------------------------------------------------------
转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051
- Azkaban2官方配置文档
- Azkaban2官方配置文档
- azkaban2.5安装文档
- Azkaban2配置过程
- azkaban2.5 详细配置以及使用方式
- 服务器配置官方相关文档
- 《Spark 官方文档》硬件配置
- 《Spark 官方文档》硬件配置
- 《Spark 官方文档》Spark配置
- AutoMapper官方文档(十七)【配置】
- Autofac官方文档(十七)【配置】
- dbcp配置--官方文档中文版本
- dbcp配置--官方文档中文版本
- dbcp配置--官方文档中文版本
- OSCache 配置缓存过滤器 官方文档 中文翻译
- [官方教程] 暗黑世界 客户端 配置文档
- dbcp配置--官方文档中文版本
- Saltstack安装和基础配置官方文档
- python算法之——队列
- 读书笔记之-----"The C Programming Language"
- Memcache 资料备忘
- 阵列
- POJ试题分类
- Azkaban2官方配置文档
- 访问一个数组的值。
- 使用storyboard实现页面跳转,简单的数据传递
- Directx 3D编程实例:绘制可变速旋转的三角形
- 大数据资源网站
- 解决Django+sqlite3 attempt to write a readonly database问题
- 指针与数组
- 例外
- 网络--子网掩码