Winows7下搭建Spark Streaming+IDEA+Maven开发环境

本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点，接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。

这里我们假设已经部署好Spark 2.1集群，并且集群的运行模式为HA，假设已经存在FlumeNG的Agent发过来的实时数据流。

1、打开Idea，新建maven工程

点击 File->New->Project

选择maven -> Create from archivetype –> Scala-archetype-simple

点击next，配置好GroupId和ArtifactId，下一步、下一步

配置maven根目录

点击next，输入项目名称和路径，点击Finish完成创建。

新建maven项目成功后之后，就会看到如下工程结构，此时的程序文件是不能识别的，因为还没有安装Scala：

点击右下角的Improve Changes

2、修改pom.xml文件

修改pom.xml文件，引入如下依赖 ：flume-ng-sdk、Spark-streaming-flume_2.10、spark-streaming_2.10、jackson.core、jackson-databind、jackson-module-scala_2.10：

    <dependency>            <groupId>org.apache.flume</groupId>            <artifactId>flume-ng-sdk</artifactId>            <version>1.5.2</version>        </dependency>        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-streaming-flume_2.10</artifactId>            <version>1.5.2</version>        </dependency>        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-streaming_2.10</artifactId>            <version>1.5.2</version>        </dependency>        <dependency>            <groupId>com.fasterxml.jackson.core</groupId>            <artifactId>jackson-core</artifactId>            <version>2.4.4</version>        </dependency>        <dependency>            <groupId>com.fasterxml.jackson.core</groupId>            <artifactId>jackson-databind</artifactId>            <version>2.4.4</version>        </dependency>        <dependency>            <groupId>com.fasterxml.jackson.module</groupId>            <artifactId>jackson-module-scala_2.10</artifactId>            <version>2.4.4</version>        </dependency>

3、构建maven依赖包,Reimport和Generate Sources and Update folders

4、添加scala插件，并添加Scala mode，并添加maven依赖包

由于我已经安装过了Scala，所以不会提示安装。安装完后重启IDEA。

5、测试环境是否搭建成功

此时，发现程序文件变颜色了，说明spark环境搭建成功