spark开发环境搭建（idea和maven）

spark idea maven开发环境的安装网上有很多教程，笔者在此就不过多阐述了，可以参考spark idea maven开发环境配置。

结合网友整理的资料，简单总结一下搭建这套开发环境的主要步骤，以及项目中用到的一些不一样的地方：

1.下载，安装idea，spark，scala，maven等；

2.在idea中安装scala插件；

3.新建一个maven工程，在project structure里面设置jdk（project选项里面）和scala sdk（global libraries里面），另外，右击工程名称添加scala框架支持（可以创建scala类等）；

4.由于项目需求，需要在spark中部署实时处理和离线处理两个工程，故在工程下再创建两个maven module，命名为streaming和offline，一个用于实时计算，一个用于离线计算，在生产环境中，使用maven单独打两个包提交到spark执行任务；

5.随便挑选一个module，如offline，在src/main/下创建scala目录，并make directory as sources root。在pom文件中引入spark-core相关的依赖，然后新建一个scala的Main Object类 ，编写hello world demo，本地直接运行，成功。

object Main {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("mySpark")    //setMaster("local") 本机的spark就用local，远端的就写ip    //如果是打成jar包运行则需要去掉 setMaster("local")因为在参数中会指定。//    conf.setMaster("local")    val sc =new SparkContext(conf)    val rdd =sc.parallelize(List(1,2,3,4,5,6)).map(_*3)    val mappedRDD=rdd.filter(_>10).collect()    //对集合求和    println(rdd.reduce(_+_))    //输出大于10的元素    for(arg <- mappedRDD)      print(arg+" ")    println()    println("math is work")  }}

6.将offline模块单独使用maven打包jar。在新建的工程pom文件中，还需要额外引入maven和scala的打包相关插件，

<build>        <plugins>            <plugin>                <groupId>org.scala-tools</groupId>                <artifactId>maven-scala-plugin</artifactId>                <version>2.15.2</version>                <executions>                    <execution>                        <goals>                            <goal>compile</goal>                            <goal>testCompile</goal>                        </goals>                    </execution>                </executions>            </plugin>            <plugin>                <artifactId>maven-compiler-plugin</artifactId>                <version>3.6.0</version>                <configuration>                    <source>1.8</source>                    <target>1.8</target>                </configuration>            </plugin>            <plugin>                <groupId>org.apache.maven.plugins</groupId>                <artifactId>maven-surefire-plugin</artifactId>                <version>2.19</version>                <configuration>                    <skip>true</skip>                </configuration>            </plugin>        </plugins>    </build>

在offline模块下，mvn clean package，打包，上传到spark集群，执行spark-submit命令，如下

spark-submit --class com.xysy.boss.Main --master spark://master:7077 /opt/offline-1.0-SNAPSHOT.jar

运行成功。至此，基本开发环境搭建完毕。

注意：将工程或module打成jar包时，spark相关依赖jar包不需要包含在内，因为spark集群本身已经提供了jar包，打进去文件会变得很大，故在spark相关依赖中加入<scope>provided</scope>