maven学习笔记：使用eclipse的maven插件创建java_spark项目

新建项目

新建maven项目：

新建Java入口类，将spark示例程序JavaWordCount.java的代码复制过来：

package daya.sparkdemo;import scala.Tuple2;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.sql.SparkSession;import java.util.Arrays;import java.util.List;import java.util.regex.Pattern;public class WordCount {      private static final Pattern SPACE = Pattern.compile(" ");      public static void main(String[] args) throws Exception {        if (args.length < 1) {          System.err.println("Usage: JavaWordCount <file>");          System.exit(1);        }        SparkSession spark = SparkSession          .builder()          .appName("JavaWordCount")          .getOrCreate();        JavaRDD<String> lines = spark.read().textFile(args[0]).javaRDD();        JavaRDD<String> words = lines.flatMap(s -> Arrays.asList(SPACE.split(s)).iterator());        JavaPairRDD<String, Integer> ones = words.mapToPair(s -> new Tuple2<>(s, 1));        JavaPairRDD<String, Integer> counts = ones.reduceByKey((i1, i2) -> i1 + i2);        List<Tuple2<String, Integer>> output = counts.collect();        for (Tuple2<?,?> tuple : output) {          System.out.println(tuple._1() + ": " + tuple._2());        }        spark.stop();      }}

编译配置

同样地，在pom.xml文件中加入依赖包与编译参数：

<dependency>  <groupId>org.apache.spark</groupId>  <artifactId>spark-core_2.11</artifactId>  <version>2.2.0</version></dependency><dependency>  <groupId>org.apache.spark</groupId>  <artifactId>spark-sql_2.11</artifactId>  <version>2.2.0</version></dependency>

<build>    <plugins>        <plugin>            <groupId>org.apache.maven.plugins</groupId>            <artifactId>maven-compiler-plugin</artifactId>            <version>3.6.1</version><configuration>                <source>1.8</source>                <target>1.8</target>            </configuration>        </plugin>    </plugins></build>

编译运行

右键项目，使用maven构建，目的是编译：

打开导航视图，会看到在项目下生成了相应了class文件：

右键项目以Java程序运行，运行配置如下：

输出结果：

附test.txt内容：

hello hellohellohowyou i iputput