IntelliJ IDEA下的Spark程序开发
来源:互联网 发布:linux 强制复制 编辑:程序博客网 时间:2024/05/23 01:59
1.创建项目:
选好javaSDK和scalaSDK
2.导入Spark的jar文件依赖:
File-Project Structure-Libraries-jar 选择 spark路径下lib文件夹内的assembly jar包。
选择菜单中的“Run” ->“Edit Configurations”,修改“Main class”和“VM options”。
在VM options中输入“
-Dspark.master=local
”,指示本程序本地单线程运行。3.编写代码:
4.打jar包:
File-Project Structure-Artifacts-JAR-From modules with dependencies
注意名字这里要把“:jar”去掉
5.build Jar包:
Build-Build Artifacts...
选择build
假设jar的存放目录为/usr/Dery/Desktop/FilghtUSA.jar
则提交spark运行的代码为:
./spark-aubmit
--class com.liufan.sdut.flightUSA /* 运行包下的类 */
--master spark://Master:7077 /* masterIP */
/usr/Dery/Desktop/FilghtUSA.jar /*jar包存放地址*/
0 0
- IntelliJ IDEA下的Spark程序开发
- 第9课:详解 IntelliJ IDEA下的Spark程序开发
- IntelliJ Idea开发spark程序及运行
- 在IntelliJ IDEA下开发Spark应用的配置
- Intellij idea下spark开发HelloWorld
- 基于Intellij IDEA的Spark(Scala)开发
- Learning Spark——使用Intellij Idea开发基于Maven的Spark程序
- 第9课:IDEA下的spark程序开发
- IntelliJ IDEA Windows下Spark开发环境部署
- 3000门徒内部训练绝密视频(泄密版)第9课:彻底实战详解使用IntelliJ IDEA下的Spark程序开发
- 使用Intellij Idea开发Spark应用遇到的问题
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- 【Spark】在window下搭建spark开发环境(IntelliJ IDEA)
- spark在idea下的开发调试
- Intellij Idea搭建Spark开发环境
- IntelliJ IDEA开发Spark、打JAR包
- intelliJ IDEA进行spark配置和开发
- 使用Intellij Idea搭建Spark开发环境
- QDateTime操作
- 后台长存的ios
- 北方国家金融公司公布第一季度业绩
- 处理DBUtils报错——java.sql.SQLException: 不支持的特性
- 2016校招内推 -- 腾讯SNG前端 -- 面试经历
- IntelliJ IDEA下的Spark程序开发
- 【第六章】 AOP 之 6.7 通知顺序 ——跟我学spring3
- eclipse 导入工程出现问题:JRE System Libreary[jre1.6.0_05](unbound)
- PHP网站开发之:数据库PDO
- Linux文件系统基本操作(mount挂载,umount卸载)
- mac 反编译android
- 风雨php路=>魔术方法定义
- Loadrunner问题汇总(场景运行)---监视Windows资源
- ios倒计时