IntelliJ IDE Spark程序开发
来源:互联网 发布:人工智能等级 编辑:程序博客网 时间:2024/06/05 09:40
环境部署
安装IntelliJ IDE
下载安装即可 ,选择Community版本
下载Spark源码
cd /Users/jackli/Desktop/Pjt_idea/git clone https://github.com/apache/spark
IntelliJ 安装相关依赖
打开IntelliJ
Import Project ,选择spark文件夹
选择Import Project from external model , 选择 SBT
选择 finish
等待 30-60分钟左右,下载相关依赖包。
退出IntelliJ IDE
安装sbt
brew install sbt
sbt编译
cd ~/spark sbt package
需要2小时左右完成编译,编译完成后输出如下信息
[info] Packaging /Users/jackli/Desktop/Pjt_idea/spark/examples/target/scala-2.11/jars/spark-examples_2.11-2.3.0-SNAPSHOT.jar ...[info] Done packaging.[success] Total time: 2433 s, completed 2017-6-20 21:20:13
此时后看到jar文件
cd /Users/jackli/Desktop/Pjt_idea/spark/assembly/target/scala-2.11/jars/ls
程序开发
创建WordCount项目
Create a Project
选择 IDEA
Project name - “WordCount”
导入jar包
File - Project Structure - Libraries - 选择jar目录位置 ,OK ,OK确认
导入完成后项目里可看到jar包
编写代码
新建scala文件
编写代码
运行
运行配置
运行
Run - Run WordCount
阅读全文
0 0
- IntelliJ IDE Spark程序开发
- scala IDE for Eclipse开发Spark程序
- IntelliJ IDEA下的Spark程序开发
- IntelliJ Idea开发spark程序及运行
- 使用IDE(eclipse,idea)开发spark程序
- 用IntelliJ开发Spark
- Learning Spark——使用Intellij Idea开发基于Maven的Spark程序
- 使用IDE开发Spark应用程序
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- IntelliJ IDE中无法运行java程序
- 用Scala推荐的Eclipse作为IDE开发Spark 1.5.1的程序
- DT_大数据梦工厂 第8课 彻底实战详解使用IDE开发Spark程序
- 第8课:彻底实战详解使用IDE开发Spark程序
- 第8课:彻底实战详解使用IDE开发Spark程序
- 第8课:彻底实战详解使用IDE开发Spark程序--集群模式运行
- 第8课:彻底实战详解使用IDE开发Spark程序
- pro_dw_pcauto_month
- Unity3D游戏开发之SQLite让数据库开发更简单
- C++基础入门
- Get与Post,客户端跳转与服务器端跳转
- Java学习之判断某一时间是否在指定时间段内
- IntelliJ IDE Spark程序开发
- Oracle 10GR2 安装手册-整理版
- 【机器学习】对于特征离散化,特征交叉,连续特征离散化非常经典的解释
- MyEclipse10更换工作空间,“cannot be resolved to a type” 等一系列问题。
- udp丢包 又是udp丢包
- 配置Hadoop开发环境(Eclipse)
- MySQL日期和时间函数
- es5中‘==’与‘===’算法的实现
- SpringBoot系列之一介绍及Helloworld