IDEA搭建Spark程序开发环境

1、  下载IDEA

到IDEA的官网下载免费的community版本，有.exe和.zip两种文件格式供下载，我选择下载的是.exe，下载完之后双击下载的文件，选择安装路径，即可安装。

2、安装scala插件

打开安装好的IDEA。第一次打开会出现这样的界面。

点击下方的configure，选择plugins，出现如下界面。

点击下方的Install JetBrains plugins，然后在出现的页面中搜索scala

点击右侧的Install，选择在线安装scala插件。下载完成后，重启IDEA。

3、  创建第一个项目

重启IDEA，出现如下界面，选择点击create New Project

设置项目的名称，路径，SDK和scala SDK

4、  添加spark依赖包

选择刚刚创建的项目，然后单击F4或者单击菜单上的项目结构图标，打开项目配置界面。

首先在Modules配置页中，将你要编写代码的文件夹设置为Sources类型。

在Libraries配置页中，添加Java Library，选择$SPARK_HOME/jar/目录下的所有jar包。

至此IDEA的环境配置就完成了，在刚刚设置的Source类型目录中，创建scala文件，即可开始编写程序。

5、  打包运行

编写完程序，我们可以采用打包的方式将程序打包，发送给spark集群运行。打开项目配置界面，选择Artifacts配置页，在右边的操作界面中选择“+”号，选择添加JAR包的From modules with dependencies方式，选择出函数入口并设置包输出路径。

设置完毕后单机菜单build-build Artifacts或在程序代码区域中单机右键，选择Build或者rebuild动作生成项目的打包文件。