CDH5.3 Oozie服务搭建
来源:互联网 发布:苹果6手机壳淘宝 编辑:程序博客网 时间:2024/05/01 16:50
CDH5.3 Oozie服务搭建
编写人:胡旻 版本:V_0.5 修改时间:20150215
(Oozie版本CDH5.3组件V4.0.0)
版权所有转载请注明
一.Oozie简介
Oozie是一个管理Hdoop作业(job)的工作流程调度管理服务。
1. Oozie的工作流是一系列动作的直接周期图(Directed Acyclical Graphs)。这些动作是典型的Hadoop任务(MapReduce,Streaming, Pipes, Pig, Hive, Sqoop, etc)
2. Oozie协调作业就是通过时间(频率)和有效数据触发当前的Oozie工作流程
3. Oozie可以将一系列协调作业捆绑作为一个任务进行管理
4. Oozie 是一个可扩展,数据感知的服务,允许你在Hadoop上使用运行一系列独立的任务
二.软件包
Oozie采用服务器客户端模式,对于安装Oozie有两种包选择,针对Oozie服务器(oozie)和客户端(oozie-client)的独立的RPM包。
三.安装需求
安装Oozie服务器需要满足
1. 操作系统的支持(如:支持CDH5的操作系统)
2. Oracle JDK的支持
3. 如果不想用自带的derby还需要一个可以支持的数据库
安装Oozie Client需要满足
Oracle JDK的支持
四.安装Oozie
Oozie包含两个独立包;一个是客户端包(oozie-client)另一个是服务包(oozie)。选择你需要的合适的包进行安装。
使用yum方式安装Oozie服务包
$ sudo yum install oozie
使用yum方式安装Oozie客户端包
$ sudo yum install oozie-client
五.配置Oozie
1.配置Hadoop任务的使用版本
Oozie客户端不会和HadoopMapReduce任务进行直接的交互,所以其不需要任何MapReduce的设置
Oozie服务能够对接使用MRv1或YARN,但是不能同时使用。
文件类型
安装路径
二进制包
/usr/lib/oozie/
配置信息
/etc/oozie/conf/
文档
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
例子
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
数据
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
日志
/var/log/oozie
临时文件
/var/tmp/oozie/
PID文件
/var/run/oozie/
2. 使用MySQL配置Oozie
安装和启动mysql,使用mysql命令台工具,创建Oozie数据库和Oozie的mysql用户
$ mysql -u root -p
Enter password: ******
mysql> create database oozie;
Query OK, 1 row affected (0.03 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.03 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.03 sec)
mysql> exit
Bye
3.配置Oozie使用MySQL,编辑oozie-site.xml中属性文件如下,配置oozie-site.xml
$ sudo vim /etc/oozie/conf/oozie-site.xml
...
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306/oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>oozie</value>
</property>
...
4. 添加MySQL JDBC 驱动包(JAR文件)给Oozie.
拷贝或软连接mysql的JDBC驱动JAR文件到/var/lib/oozie/ 文件夹
5. 建立Oozie数据库模式
在设置完Oozie 数据库信息和创建相应的数据库,创建Oozie数据库模式,Oozie为这个目的提供了一个数据库工具
运行Oozie数据库工具
$ sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
你应该看到以下输出
Validate DB Connection.
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '4.0.0-cdh5.3.0'
The SQL commands have been written to: /tmp/ooziedb-5737263881793872034.sql
6. 允许Oozie Web Console
为了允许Oozie webconsole, 下载添加ExtJS库到 Oozie服务器
步骤1:下载库
从http://archive.cloudera.com/gplextras/misc/ext-2.2.zip下载ExtJS版本2.2库文件并将其放在合适的位置。
步骤2:安装库文件
提取文件ext-2.2.zip并将其放在/var/lib/oozie下. 并解压
说明:1.以前同事何敏在测试机上安装oozie 时,将ext-2.2.zip直接放到该目录下即可。但是现在clouderamanger 中不行
2. 同事以前aparch 正式使用的ext-2.2.zip 在cloueramanger 下放到/var/lib/oozie下,解压后也不能正常。后来网友世界提供的解压后正常
步骤3. 在Hadoop的HDFS上安装Oozie Shared Library
oozie安装绑定了Oozie的分享库,包含了所有允许工作流任务运行的动作(streaming, DistCp, Pig, Hive, Sqoop).
步骤4.oozie安装绑定了两个共享库,一个是MRv1 另一个是 YARN。请确保你安装了合适你使用的MapReduce版本
The shared library file for MRv1 isoozie-sharelib-mr1.tar.gz.
The shared library file for YARN isoozie-sharelib-yarn.tar.gz.
(我系统是运行在YARN上运行MapReduce,所以注意)
$ sudo -u hdfs hadoop fs -mkdir /user/oozie
$ sudo -u hdfs hadoop fs -chown oozie:oozie /user/oozie
$ sudo oozie-setup sharelib create -fs <FS_URI> -locallib /usr/lib/oozie/oozie-sharelib-yarn.tar.gz
其中FS_URI是文件系统HDFS URI分享库应该安装的位置(例如 hdfs://<HOST>:<PORT>).
7. 设置支持Oozie的Uber JARs
为了使集群支持uber Jars我们设定oozie-site.xml以下属性
...
<property>
<name>oozie.action.mapreduce.uber.jar.enable</name>
<value>true</value>
...
六. 启动、停止和访问Oozie
1.启动Oozie服务器
$ sudo service oozie start
如果能看见消息Oozie系统ID[oozie-oozie] 开始在oozie.log日志文件中,说明系统已经成功开始
2.停止Oozie服务器
$ sudo service oozie stop
3.通过Oozie客户端访问Oozie服务器
Oozie客户端是一个命令行单元可以通过Oozieweb-services API和Oozie 服务器进行交互
$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL
为了方便使用这个组件,设置环境变量OOZIE_URL指向Oozie服务器的URL.后续你能跳过-oozie 选项
$ export OOZIE_URL=http://localhost:11000/oozie
$ oozie admin -version
Oozie server build version: 4.0.0-cdh5.3.0
4.通过Web浏览器访问Oozie服务器
如果你添加了ExtJS库,允许了Oozie web控制台,你可以通过
http://<OOZIE_HOSTNAME>:11000/oozie.
oozie is not allowed to impersonate oozie问题的解决
在主控节点(NameNode和ResourceManage)中修改hdfs-site.xml文件添加如下属性
<!-- OOZIE -->
<property>
<name>hadoop.proxyuser.oozie.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>*</value>
</property>
<!-- -->
然后更新
主控节点:NameNode
hdfs dfsadmin -fs hdfs://hcdream1:8020 -refreshSuperUserGroupsConfiguration
hdfs dfsadmin -fs hdfs://hcdream2:8020 –refreshSuperUserGroupsConfiguration
主控节点:ResourceManager
yarn rmadmin -refreshSuperUserGroupsConfiguration
- CDH5.3 Oozie服务搭建
- oozie-4.0.0-cdh5.3.1环境搭建
- CDH5搭建
- CDH5 Hue oozie 之 Coordinators 调度使用
- Oozie-4.1.0-cdh5.5.2 安装部署
- hadoop-CDH5.3 集群搭建(详细)
- Hbase0.98.6-CDH5.3集群搭建
- Oozie环境的搭建
- CDH5.7.2搭建
- 【甘道夫】Oozie-4.0.0-CDH5.2.0 安装部署
- CDH5.7.0遇到Oozie缺少Ext JS library的解决方法
- oozie安装部署在hadoop2.50.0-CDH5.3.6
- 如何使用cdh5.x版本oozie的sharelib库
- Spark on Yarn 环境搭建(CDH5.3)
- 基于CDH5.4.5(ha)的Hbase 3节点搭建
- CentOS 6.5 搭建CDH5源
- Ubuntu 14.04 搭建CDH5*笔记
- CDH5.12.1版本搭建记录
- wireshark过滤语法总结
- Java核心技术第3章(6)
- Kafka深度解析
- iOS真机测试
- 黑马程序员—正则表达式+反射
- CDH5.3 Oozie服务搭建
- 【c和指针学习笔记】深入理解字符串常量
- div模拟弹出框
- python2转3格式自动工具:2to3 , 以及python3相对于python2 修改的一些内容
- 文章标题
- 【c++11并不遥远】使xcode工程支持c++11特性
- SQL Server 2008 R2 清空数据库中ldf日志文件
- PythonChallenge过关斩将录-0~10关
- maxHappiness