Azkaban实战
来源:互联网 发布:淘宝支付宝账号怎么改 编辑:程序博客网 时间:2024/06/05 03:09
Azkaba内置的任务类型支持command、java
Command类型单一job示例
1、创建job描述文件
vi command.job
command.job
type=command
command=echo ‘hello’
2、将job资源文件打包成zip文件
zip command.job
3、通过azkaban的web管理平台创建project并上传job压缩包
首先创建project
上传zip包
4、启动执行该job
Command类型多job工作流flow
1、创建有依赖关系的多个job描述
第一个job:foo.job
foo.job
type=command
command=echo foo
第二个job:bar.job依赖foo.job
bar.job
type=command
dependencies=foo
command=echo bar
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动工作流flow
HDFS操作任务
1、创建job描述文件
fs.job
type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job
MAPREDUCE任务
Mr任务依然可以使用command的job类型来执行
1、创建job描述文件,及mr程序jar包(示例中直接使用hadoop自带的example jar)
mrwc.job
type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动job
HIVE脚本任务
创建job描述文件和hive脚本
Hive脚本: test.sql
use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ‘,’;
load data inpath ‘/aztest/hiveinput’ into table aztest;
create table azres as select * from aztest;
insert overwrite directory ‘/aztest/hiveoutput’ select count(1) from aztest;
Job描述文件:hivef.job
hivef.job
type=command
command=/home/hadoop/apps/hive/bin/hive -f ‘test.sql’
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动job
- Azkaban实战
- Azkaban实战
- Azkaban实战案例
- Azkaban
- Azkaban文档
- Azkaban调研
- azkaban搭建
- azkaban简介
- Azkaban文档
- Azkaban博客
- [official] Azkaban
- Azkaban文档
- Azkaban调研
- Azkaban安装
- Azkaban文档
- azkaban入门
- azkaban配置
- Azkaban安装
- 求和
- Python元祖,列表,字典,集合的比较
- 如何在JSP页面显示Oracle数据库内容
- Python学习第一章:第一次的亲密接触之初识程序(二)
- 日志记录(log4j)
- Azkaban实战
- 根据要素选择集,创建新图层
- IDEA创建servlet 找不到javax.servlet包的解决方法
- AngularJS国际化配置
- 【hdu 1176】免费馅饼
- bzoj 3224: Tyvj 1728 普通平衡树
- bzoj 1711: [Usaco2007 Open]Dining吃饭 网络流
- HDU 6092 Rikka with Subset
- HDU6092 Rikka with Subset