用oozie命令行的方式在yarn上运行spark任务

来源:互联网 发布:尤里的复仇for mac 编辑:程序博客网 时间:2024/06/05 10:28

注意:杀死yarn进程的命令 yarn application -kill applicationID

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。
2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。

3.准备一个job.propertie和workflow.xml,内容如下

job.properties

workflow.xml

3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面

4.然后在服务器上执行如下命令:

5.打开oozie的界面

6.查看yarn的界面

7.查看yarn的日志文件

原创粉丝点击