IDEA 打jar,提交spark集群运行
来源:互联网 发布:生死狙击刷矩阵要多久 编辑:程序博客网 时间:2024/05/22 13:32
1、idea打开file,选择projectstructure,点击Artifacts,如下图 选择add JAREmpty
然后点击OK
2、选择bulid Artifacts
点击bulid 就会打成jar
3、通过winSCP把jar上传到服务器/var/lib/hadoop-hdfs/application/bash/jar/testjjp.jar
4、编写spark submit脚本
#!/bin/bash
spark-submit \
--class com.jjp.test_Bayes \
--master yarn-client \
--jars/var/lib/hadoop-hdfs/application/bash/jar/ojdbc7.jar \
/var/lib/hadoop-hdfs/application/bash/jar/testjjp.jar\
5、直接运行脚本就是把testjjp类提交到spark集群上运行了。
0 0
- IDEA 打jar,提交spark集群运行
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- spark:Idea编译程序打jar包部署到spark运行方法--19
- IntelliJ IDEA开发Spark、打JAR包
- IntelliJ IDEA开发Spark、打JAR包
- IntelliJ IDEA开发Spark、打JAR包
- windows下idea编写WordCount程序,并打jar包上传到hadoop集群运行
- spark 提交jar包到集群运行报异常 java.net.UnknownHostException: mycluster
- idea环境下用maven打可运行jar包
- idea maven工程打可运行jar包方式
- window 下 IDEA 编写 spark集群的jar包
- IDEA 打jar包
- idea打jar包
- IDEA打jar包
- IDEA打jar包
- idea打jar
- spark-submit提交jar包到集群找不到主类
- Intellij IDEA开发(local模式)提交运行Spark代码
- Java泛型浅谈(2)
- charles破解
- python学习笔记-turtle类库实例
- COM组件学习
- Swift 3.0 控制流
- IDEA 打jar,提交spark集群运行
- onTouchEven事件分发机制
- python 中jieba分词
- Ubuntu下搜狗輸入法不能输入汉字
- Prim算法简明
- 关于在一套复制环境中使用不同版本OGG的问题.
- 80% 应聘者都不及格的 JS 面试题
- matlab 同态滤波程序
- 传统项目管理与敏捷管理的区别