OOzie调度sqoop1 Action 从mysql导入数据到hive

来源：互联网发布：js如何获取select的值编辑：程序博客网时间：2024/05/16 15:14

前提条件：

1、安装好mysql、Hadoop、oozie、hive

2、上面安装的软件皆可正确执行

开始：

用oozie调度sqoop1 Action 需要准备三个基本文件，workflow.xml、job.properties、hive-site.xml（其实也可以不要，后面会说）文件

1、在HDFS创建一个oozie的工作流应用保存路径，我创建的是/user/oozieDemo/workflows/sq2hiveDemo，在此路径下再创建一个lib目录，如下图所示

2、将mysql的驱动程序上传到lib目录下

3、编写job.properties文件，文件内容如下：

oozie.wf.application.path=hdfs://NODE3:8020/user/oozieDemo/workflows/sq2hiveDemo

#Shell Script to run

EXEC=sq2hive.sh

jobTracker=NODE3:8032

nameNode=hdfs://NODE3:8020

queueName=default

oozie.use.system.libpath=true

oozie.libpath=/user/oozie/share/lib/lib_20150708191612

user.name=root

4、编写workflow.xml文件，也就是sqoopAction的配置文件，此处可以有两种配置文件，一种是命令行模式，一种是参数模式

命令行模式的workflow.xml配置文件：

<workflow-app xmlns='uri:oozie:workflow:0.1' name='sq2hive-wf'>

<job-tracker>${jobTracker}</job-tracker>

<name-node>${nameNode}</name-node>

<name>mapred.job.queue.name</name>

<value>${queueName}</value>

</property>

<name>hive.metastore.uris</name>

<value>thrift://172.17.20.2:9083</value>

</property>

</configuration>

<command>import --connect jdbc:mysql://172.17.20.4/scm --username root --password root --table ROLES --columns "ROLE_ID,NAME,HOST_ID" --delete-target-dir --hive-import --hive-overwrite --hive-table sun.roles -m 2</command>

</sqoop>

</action>

<message>Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

</kill>

参数模式的workflow.xml配置文件：

<workflow-app xmlns='uri:oozie:workflow:0.1' name='sq2hive-wf'>

<job-tracker>${jobTracker}</job-tracker>

<name-node>${nameNode}</name-node>

<name>mapred.job.queue.name</name>

<value>${queueName}</value>

</property>

<name>hive.metastore.uris</name>

<value>thrift://172.17.20.2:9083</value>

</property>

</configuration>

<arg>import</arg>

<arg>--connect</arg>

<arg>jdbc:mysql://172.17.20.4/scm</arg>

<arg>--username</arg>

<arg>--password</arg>

<arg>--table</arg>

<arg>ROLES</arg>

<arg>--columns</arg>

<arg>--delete-target-dir</arg>

<arg>--hive-import</arg>

<arg>--hive-overwrite</arg>

<arg>--hive-table</arg>

<arg>sun.roles</arg>

<file>/user/oozieDemo/workflows/sq2hiveDemo/hive-site.xml#hive-site.xml</file>

</sqoop>

</action>

<message>Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

</kill>

</workflow-app>

5，将workflow.xml文件上传到HDFS上，即oozie工作流应用路径/user/oozieDemo/workflows/sq2hiveDemo下，同时将job.properties（也可以不用上传，运行OOzie的job时指定的是本地的job.properties）和hive-site.xml上传到此路径下，如下图：

6,使用命令行方式提交并启动刚刚写好的工作流：命令如下：

oozie job --oozie http://node1:11000/oozie --config job.properties -run

此命令为提交并启动job

7，可以通过oozie web界面或者 hue的workflow查看界面查看job执行情况，hue下查看如下：

1 0