使用IntelliJ IDEA创建jar包及在集群上的提交方式
来源:互联网 发布:淘宝捡漏 编辑:程序博客网 时间:2024/06/06 03:04
上篇博客写了如何在Windows下使用IntelliJ IDEA创建Maven工程,在本地完成一个Maven项目的编写后,需要将其打成jar包,以方便在集群上运行,本文将介绍使用IntelliJ IDEA生成jar包并在集群上运行的过程,具体过程如下(企业一般使用jdk1.7,这里将介绍使用jdk1.7进行编译的方法):
1、 设置java兼容
需要注意以下三个地方,将其调为jdk1.7兼容:
Project Structure
中的Project language level
Project Structure
中的Language level
- Setting中的Java Complier
2、使用Maven打jar包
打包前要注意将项目中.setMaster("local[]*")
注释掉
上述设置完成后,连按两次alt
键(第二次按住不放)可在右侧栏显示Maven Project
选项,按顺序执行clean
、compleiler
和jar
命令即可以在项目target
目录下生成jar包,如图所示:
注:可以直接在项目根目录下使用如下命令行
打包:
mvn clean package
3、在集群上运行
3.1 local模式
./bin/spark-submit \ --class "SimpleApp" \ #指定运行的类 --master local[4] \ #指定local模式,4核心 spark-test-1.0.jar #指定jar包
3.2 standalone模式
./bin/spark-submit \ --master spark://ip:7070 \ #指定服务器 --deploy-mode cluster \ #指定运行模式 --class "SimpleApp" \ #指定运行的类 spark-test-1.0.jar #指定jar包
DeoloyMode(表示Driver执行的位置):
- client表示driver执行在执行spark-submit命令的机器上
- cluster表示driver会运行在集群中选择的某一台机器上。
附:常用参数列表:
参考链接:
http://blog.csdn.net/high2011/article/details/52812746
http://www.cnblogs.com/juncaoit/p/6381562.html
阅读全文
0 0
- 使用IntelliJ IDEA创建jar包及在集群上的提交方式
- intellij idea 上打jar包,放到集群上跑及hadoop使用
- 向IntelliJ IDEA创建的项目导入Jar包的两种方式
- 0.Intellij IDEA 添加jar包的三种方式
- Intellij IDEA 添加jar包的三种方式
- IntelliJ IDEA各种引入jar包的方式及其关系
- Intellij IDEA 添加jar包的三种方式
- Intellij IDEA 添加jar包的三种方式
- Intellij IDEA 添加jar包的三种方式
- 使用 IntelliJ IDEA 在 Java 项目中添加 JAR 包
- 在intellij idea环境下,使用maven打jar包
- 使用 IntelliJ IDEA 在 Java 项目中添加 JAR 包
- 【Java开发工具使用之】Intellij IDEA 添加jar包的三种方式
- Intellij IDEA打jar包方式
- IntelliJ IDEA jar包在tomcat里找不到的原因
- Intellij IDEA使用(七)—— 使用Intellij IDEA配置Java(JavaWeb)项目jar包的两种方式
- Intellij IDEA使用(六)—— 使用Intellij IDEA创建Java项目并配置jar包
- Intellij IDEA使用(九)—— 使用Intellij IDEA创建JavaWeb项目并配置jar包
- LAMP——最新版组合(CGI)
- java 引用类别
- Android零基础入门第82节:Activity数据回传
- 腾讯云通信批量导入用户(用于给未登录过的用户发送消息)
- django-request对象
- 使用IntelliJ IDEA创建jar包及在集群上的提交方式
- github的简单使用(如何删除github仓库的项目)
- 建站选择Linux还是Windows操作系统?
- 升级项目到Vs2015版本的问题整理
- list
- emWin使用外部SRAM的方法
- 2017/10/24
- 大屏定时开关机,及打开浏览器
- tomcat启动报错