用oozie命令行的方式在yarn上运行spark任务
来源:互联网 发布:尤里的复仇for mac 编辑:程序博客网 时间:2024/06/05 10:28
注意:杀死yarn进程的命令 yarn application -kill applicationID
1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。
2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。
3.准备一个job.propertie和workflow.xml,内容如下
job.properties
workflow.xml
3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面
4.然后在服务器上执行如下命令:
5.打开oozie的界面
6.查看yarn的界面
7.查看yarn的日志文件
阅读全文
1 0
- 用oozie命令行的方式在yarn上运行spark任务
- 在Yarn上运行spark-shell和spark-sql命令行
- 在Yarn上运行spark-shell和spark-sql命令行
- 在 YARN 上运行 Spark
- spark部署:在YARN上运行Spark
- 在基于Yarn的集群上运行Spark程序
- Spark在Yarn上运行Wordcount程序
- 在Yarn上运行Apache Zeppelin & Spark
- spark安装:在hadoop YARN上运行spark-shell
- oozie spark on yarn
- 在Eclipse上运行Spark(Standalone,Yarn-Client)
- spark在yarn上面的运行模型:yarn-cluster和yarn-client两种运行模式:
- 运行在yarn上的spark job使用log4j无法记录日志问题
- 第1章对运行在YARN上的Spark进行性能调优
- MapReduce在YARN上的运行流程
- 在Ambari上用rest提交Spark到Yarn上
- spark的yarn模式运行
- Yarn上运行spark-1.6.0
- [代码问题解决录]li列表项动态序列
- 如何让EA中建成的数据表在SQL数据库中生成表
- SSH拦截器
- 《剑指offer》把字符串转为整数
- JMS(Java消息服务)入门教程
- 用oozie命令行的方式在yarn上运行spark任务
- 温度传感器100k 热水器温度探头
- ObjC如何通过runtime修改Ivar的内存管理方式(一)
- POJ 1330 Nearest Common Ancestors
- 基于OWIN WebAPI 使用OAuth授权服务【客户端模式(Client Credentials Grant)】
- mongdb和sql对比
- JS中 call和apply的区别和作用
- Egret开发经验目录
- matlab中的函数(三)