使用IDEA运行Spark程序
来源:互联网 发布:淘宝网游店开不了 编辑:程序博客网 时间:2024/05/29 02:00
使用IDEA运行Spark程序
1.安装IDEA
从IDEA官网下载Community版本,解压到/usr/local/idea目录下。
tar –xzf ideaIC-13.1.4b.tar.gz
mv idea-IC-135.1230/ /usr/local/idea
为了方便使用其bin目录下的命令,把它配置在“/etc/profile”目录下。
export PATH=$PATH:/usr/local/idea/ idea-IC-135.1230/bin
2.安装Scala插件
1. 在终端输入idea.sh进入如下界面:
2. 点击”Configure”进入IDEA的配置界面:
3. 选择“Plugins”,进入插件安装界面:
4. 点击左下角的“Install JetBrains plugin”选项进入如下界面在左上方的输入框输入“scala”来查找scala插件,点击右侧的“Install plugin”开始下载插件:
5. 安装完后重启IDEA:
3.使用scala SBT工程
1. 重启之后进入如下界面,选择“Create New Project”,选择左侧列表中的“Scala”选项,为了方便以后的开发,选择右侧的“SBT”选项:
2. 设置scala工程的名称和目录,点击Finish:
3. 此时发现没有设置Java的JDK路径,点击进入ProjectStructure目录,点击New,选择JDK路径后,关闭后重新打开项目:
4. 此时IDEA会智能的帮助我们构建SBT工具,IDEA自动完成SBT工具的安装需要一段时间(1-2分钟),SBT会自动帮我们建好一些目录:
5. 点击src下的main下的scala在弹出的“New”下选择“Scala Class,输入文件名称并选择类型:
6. 写入代码:
7. 右击代码区点击运行,第一次运行scala程序会有点缓慢:
8. 运行的结果如下:
4.搭建Spark运行环境
1.导入Spark的包,依次点击File -> Project Structure ->Libraries ->点击“+”号 ->选择Java -> 选择spark lib目录下的assembly包
IDEA工作完后发现Spark的jar包导入到我们的工程中
5.运行Spark程序
1.我们这里采用standalone模式运行wordcount作代码演示。数据从hdfs读取,代码如下。
2. 下面描述如何打jar包:
配置路径和包名
之后便可在集群上运行spark程序。
注:每次修改代码后都要rebuild jar包。
- 使用IDEA运行Spark程序
- 使用idea sbt运行spark程序
- 使用IDEA开发spark程序
- 使用Idea提交Spark程序
- intelliji idea 基于maven运行spark程序
- IntelliJ Idea开发spark程序及运行
- IDEA编写Spark程序及手动Artifacts并运行
- 如何在idea里面直接运行spark streaming程序
- 基于IDEA使用Spark API开放Spark程序(1)
- IDEA调试SPARK程序
- 使用IntelliJ IDEA编写SparkPi直接在Spark中运行
- windows在IDEA环境运行spark程序(spark安装在另一台mac机器)
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02
- Intellij idea使用java编写并执行spark程序
- 使用IDEA编写基于Scala的spark程序中的常见问题
- 使用IDE(eclipse,idea)开发spark程序
- Spark2.1.1<IDEA使用SBT或者Maven构建spark程序>
- CSI(CMOS Sensor Interface)描述
- OpenSessionInViewFilter与OpenSessionInViewInterceptor控制spring事务
- @Inject、@Value、@Scheduled
- ubuntu 12.04安装谷歌拼音输入法
- @Scope("prototype")
- 使用IDEA运行Spark程序
- JVM深入学习笔记一:Java 编译器初探
- Latex 学习三 bold, italic, fixed-width font, and commenting
- c++测试程序运行时间的
- 四. 200多万元得到的创业教训--3招实现外包的华丽转身
- php web service(基于soap)
- codechef Chef and easy problem 2
- configure: error: cannot find ssl headers
- 大二英语单词(粗略)