Intellij搭建spark开发环境
来源:互联网 发布:淘宝会员卡图片 编辑:程序博客网 时间:2024/05/16 18:52
原文地址:http://blog.csdn.net/pirage/article/details/50216197
1、确保你的电脑安装了JDK,以及配置了JAVA_HOME环境变量。
2、安装Intellij IDEA,下载地址。目前15.0版本对Scala的支持性就很好。
3、安装scala插件。在首次使用Intellij的时候会出现安装插件的提示,如果错过了也没有关系,在setting里,找到Plugins,输入scala,安装即可。
4、搭建spark开发环境。
4.1 下载spark的jar包,下载地址。例如我要下载1.5.0版本的spark,Hadoop是2.4版本,选项如图:
4.2 解压下载的包,我们需要用的是lib下的spark-assembly-1.5.0-hadoop2.4.0.jar这个包。
4.3 新建scala项目,File -> New Project -> scala -> next填写name和SDK -> finish。
4.4 在项目页“File” -> “project structure” -> “Libraries”, 点“+”,选Java,找到spark-assembly-1.5.0-hadoop2.4.0.jar导入,这样就可以编写spark的scala程序了。
4.5 很多时候我们都需要用到maven或者SBT管理依赖,这里我用的是maven。Intellij15.0对maven也很有好,只需要简单配置一下maven仓库地址即可。
5、开心的coding吧!
插入代码
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
6、打包导出到集群运行。
6.1 如果pom.xml文件中存在hadoop或者spark的依赖,请在打包之前注释掉。因为集群已经有包了,注释掉既能减少包的大小,又能避免某些jar版本冲突。
6.2 Intellij中点击“File - Project Struction - Artifacts - + - Jar - From modules with dependencies…”,填写modules、Main Class以及路径等,点击OK生成jar包。
6.3 Intellij中点击“Build- Build artifacts… ”,选择刚生成的jar包进行build。
6.4 将打包好的jar包上传到服务器某路径下。
6.5 执行提交命令:
spark-submit WhereIsYourJar 其他参数
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- Intellij Idea搭建Spark开发环境
- 使用Intellij Idea搭建Spark开发环境
- spark开发环境搭建intellij+Scala+sbt
- Intellij Idea搭建Spark开发环境
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- 如何使用IntelliJ IDEA搭建spark开发环境(上)
- 如何使用intellij搭建spark开发环境(下)
- Spark Streaming+IntelliJ Idea+Maven开发环境搭建
- spark Intellij IDEA及eclipse开发环境搭建
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- Intellij IDEA搭建Spark开发环境并运行
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- Spark开发-spark环境搭建
- 小类型向大类型转换
- 分析balde源码,查看Web工程处理Ioc注入的背后的过程,ThreadLocal 使用保存线程所有的request and respond,
- Java_jxl创建Excel文件,插入数据(含图片)
- 稠密索引与稀疏索引
- 计算机图形学02一一OpenGL 代码实现绘制一条线
- Intellij搭建spark开发环境
- 《Objective-C编程全解》 读书笔记 第七章 属性声明
- 蓝牙之十-avrcp代码调用关系
- PHP读取Mysql数据库中文乱码问题
- MySQL日期获取:本月第一天、本月最后一天、上月第一天、上月最后一天、下月第一天、下月最后一天.....
- MySQL中文汉字转拼音的自定义函数和使用实例(首字的首字母)
- GYM 101128 A.Promotions(dfs)
- NGUI之Scroll Bar
- 计算机操作系统初步认识几个常见问题