Azkaban 2.5.0 搭建和一些小问题
来源:互联网 发布:淘宝网店代理商 编辑:程序博客网 时间:2024/05/21 18:44
安装环境:
- 系统环境: ubuntu-12.04.2-server-amd64
- 安装目录: /usr/local/ae/ankaban
- JDK 安装目录: export JAVA_HOME=/usr/local/ae/jdk1.7.0_51
- Hadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1
- Mysql 版本:mysql-server-5.5
需要软件:
- azkaban-web-server-2.5.0.tar.gz
- azkaban-executor-server-2.5.0.tar.gz
- azkaban-sql-script-2.5.0.tar.gz
Azkaban source: github.com/azkaban/azkaban
Azkaban plugins source:github.com/azkaban/azkaban-plugins
doc:azkaban.github.io/azkaban/docs/2.5/
三、配置Mysql
- 解压azkaban-sql-script-2.5.0.tar.gz
user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-sql-script-2.5.0.tar.gz
- 登录Mysql 创建Database azkaban
user@ae01:/usr/local/ae/azkaban$ mysql -u root -pEnter password:Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 165Server version: 5.5.37-0ubuntu0.12.04.1 (Ubuntu)Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or itsaffiliates. Other names may be trademarks of their respectiveowners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> create database azkaban;
- 创建 Azkaban 表格
mysql> use azkabanReading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> source /usr/local/ae/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
- 为 Azkaban 创建用户 azkaban
mysql> grant all privileges on azkaban.* to 'azkaban'@'localhost' identified by 'azkaban';mysql> flush privileges;
四、配置 azkaban-web
- 解压 azkaban-web-server-2.5.0.tar.gz
user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-web-server-2.5.0.tar.gz
- 生成SSL 证书
关于怎么使用 Java keytool 生成 keystore 和 Truststore 文件 可以参考我之前的随笔。
在这里可以只简单的生成 keystore 文件,并将生成的 keystore 文件拷贝至 /usr/local/ae/azkaban/azkaban-web-2.5.0/web 文件下。
本文中证书文件为 keystone, keypass 为 kestore。 - 修改 ./conf/azkaban.properties
#Azkaban Personalization Settingsazkaban.name=Azkabanazkaban.label=My Local Azkabanazkaban.color=#FF3601azkaban.default.servlet.path=/indexweb.resource.dir=web/default.timezone.id=Asia/Shanghai#Azkaban UserManager classuser.manager.class=azkaban.user.XmlUserManageruser.manager.xml.file=conf/azkaban-users.xml#Loader for projectsexecutor.global.properties=../conf/global.propertiesazkaban.project.dir=projectsproject.temp.dir=temptrigger.plugin.dir=plugins/triggersdatabase.type=mysqlmysql.port=3306mysql.host=localhostmysql.database=azkabanmysql.user=azkabanmysql.password=azkabanmysql.numconnections=100# Velocity dev modevelocity.dev.mode=false# Azkaban Jetty server properties.jetty.maxThreads=25jetty.ssl.port=8443jetty.port=8081jetty.keystore=web/keystorejetty.password=keystorejetty.keypassword=jetty-azkabanjetty.truststore=web/keystorejetty.trustpassword=keystore# Azkaban Executor settingsexecutor.port=12321# mail settingsmail.sender=***********************mail.host=***********************mail.user=************************mail.password=******job.failure.email=*************************job.success.email=*************************lockdown.create.projects=falsecache.directory=cache
- 启动 azkaban-web
user@ae01:/usr/local/ae/azkaban/azkaban-web-2.5.0$ sh bin/azkaban-web-start.sh
Note: 1. Azkaban 在启动是会生成两个日志文件azkaban-access.log/azkaban-webserver.log,他们的生成位置是在你执行脚本的目录,所以建议你最好还是在AZKABAN_HOME 目录下执行启动脚本,如果你喜欢在 ./bin 目录下启动,你需要将上文第3步骤的红色标记处修改目录位置为 ../${dir}。
2. Azkaban 需要在 ./plugins 的文件夹下手动生成一个 triggers 的目录,否则启动日志会报错。但如果添加 triggers 文件夹后,登录页面时 500 并提示 Velocity could not be initialized! 那就删除 ./plugins/tirggers 文件夹。 - 登录 https:ae01:8443 username:azkaban; password:azkaban
- 修改 azkaban-web 启动文件
如果发现无法上传文件,需要修改 azkaban-web 的启动脚本 azkaban-web-start.shif [[ -z "$tmpdir" ]]; then ---> if [ -z "$tmpdir" ]; then
五、配置 azkaban-executor
- 解压 azkaban-executor-server-2.5.0.tar.gz
user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-executor-server-2.5.0.tar.gz
- 配置 ./conf/azkaban.properties
#Azkabandefault.timezone.id=America/Los_Angeles# Azkaban JobTypes Pluginsazkaban.jobtype.plugin.dir=plugins/jobtypes#Loader for projectsexecutor.global.properties=conf/global.propertiesazkaban.project.dir=projectsazkaban.execution.dir=executionsproject.temp.dir=tempdatabase.type=mysqlmysql.port=3306mysql.host=localhostmysql.database=azkabanmysql.user=azkabanmysql.password=azkabanmysql.numconnections=100# Azkaban Executor settingsexecutor.maxThreads=50executor.port=12321executor.flow.threads=30
- 配置 jobtype 插件
解压 azkaban-jobtype-2.5.0.tar.gz 至 ./plugins 并重命名为 jobtypesuser@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0/plugins$ tar -zxvx azkaban-jobtype-2.5.0.tar.gzuser@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0/plugins$ mv ./azkaban-jobtype-2.5.0 ./jobtypes
配置 ./conf/common.propertes
## everything that the user job can knowhadoop.home=/usr/local/ae/hadoop-1.2.1#hive.home=#pig.home=azkaban.should.proxy=truejobtype.global.classpath=${hadoop.home}/hadoop-core-1.2.1.jar,${hadoop.home}/conf
- 启动 azkaban-executor
user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0$ sh bin/azkaban-executor-start.sh
Note: 1. Azkaban 在启动是会生成两个日志文件azkaban-access.log/azkaban-webserver.log,他们的生成位置是在你执行脚本的目录,所以建议你最好还是在AZKABAN_HOME 目录下执行启动脚本,如果你喜欢在 ./bin 目录下启动,你需要将上文第2步骤的红色标记处修改目录位置为 ../${dir}
0 0
- Azkaban 2.5.0 搭建和一些小问题
- Azkaban 2.5.0 搭建
- 使用cdh和azkaban、redis等遇到的一些小问题
- Azkaban搭建3.32.0
- Azkaban-2.5.0的安装和配置
- azkaban搭建
- Azkaban的快速搭建
- Azkaban的快速搭建
- azkaban的最简版搭建
- azkaban遇到问题
- Azkaban 2.5.0 job type 插件安装
- html问题和一些小实现
- Azkaban简介和使用
- Azkaban和shell
- hadoop学习之azkaban(5):azkaban-2.5.0的详细安装过程
- azkaban 2.5 安装详解
- Azkaban
- PHP 一些小问题~!
- 阿里飞天云平台架构简介
- 欢迎使用CSDN-markdown编辑器
- [c#] for和foreach
- 将博客搬至CSDN
- 一行代码实现沉浸式状态栏
- Azkaban 2.5.0 搭建和一些小问题
- bzoj 2243: [SDOI2011]染色 (树链剖分+线段树)
- mysql limit查询优化方法(offset偏移量)
- Android 将assets中的单个文件拷贝到sd卡中
- Android高效加载大图、多图解决方案,有效避免程序OOM
- Linux 安装MYSQLdb
- MySQL的sql_mode合理设置
- Android屏幕适配
- 将Sublime Text 添加到右键菜单的方法