spark搭建和java示例

1. scala 安装

下载scala: http://www.scala-lang.org/download/
最开始下载scala2.12,后来运行spark出现版本不一致的错误，后来安装了 scala-2.11.11 .tgz
解压

tar -zxvf scala-2.11.11.tgz -C /usr/local/mv scala-2.11 scala

配置scala环境变量

export SCALA_HOME=/usr/local/scalaexport PATH=${SCALA_HOME}/bin:$PATH

运行 scala -version查看是否安装成功

安装spark

我下载的版本是：spark-2.1.0-bin-hadoop2.7.tgz

重命名 mv spark-2.1.0-bin spark

spark 环境变量配置

export SPARK_HOME=/usr/local-extend/sparkexport PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

测试spark是否安装成功

/usr/local-extend/spark/bin$ ./spark-shell

出现下图则安装成功

修改spark配置

在%SPARK_HOME%/conf下

cp spark-env.sh.template spark-env.sh添加如下内容export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

运行spark例子

%SPARK_HOME%/bin下执行：

run-example SparkPi 2>&1 | grep "Pi is roughly"

输出结果：

以上spark基本完成安装，下面通过在idea上建立WordCount demo并运行，采用maven工程。

工程代码

代码：

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import scala.Tuple2;import java.util.Arrays;import java.util.Iterator;import java.util.List;import java.util.regex.Pattern;/** * Created by hadoop on 17-6-11. */public class WordCount {    private static final Pattern SPACE = Pattern.compile(" ");    public static void main(String[] args)throws Exception {        SparkConf sparkConf = new SparkConf().setAppName("SparkWordCount");        String srcPath = "/usr/tmp/input/";        String desPath = "/usr/tmp/output/";        if(args.length == 2) {            srcPath = args[0];            desPath = args[1];        }        JavaSparkContext jsc = new JavaSparkContext(sparkConf);        JavaRDD<String> lines = jsc.textFile(srcPath, 1);        System.out.println("file text split!");        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {            @Override            public Iterator<String> call(String s) throws Exception {                return Arrays.asList(s.split(" ")).iterator();            }            /*@Override            public Iterable<String> call(String s) throws Exception {                return Arrays.asList(SPACE.split(" "));            }*/        });        System.out.println("word map!");        JavaPairRDD<String, Integer> ones = words.mapToPair(new PairFunction<String, String, Integer>() {            @Override            public Tuple2<String, Integer> call(String s) throws Exception {                return new Tuple2<String, Integer>(s, 1);            }        });        System.out.println("word reduce!");        JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() {            @Override            public Integer call(Integer i1, Integer i2) throws Exception {                return i1 + i2;            }        });        System.out.println("word count save!");        counts.saveAsTextFile(desPath);        jsc.stop();    }}

maven 文件

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>SparkDemo</groupId>    <artifactId>com.jd.demo.spark</artifactId>    <version>1.0-SNAPSHOT</version>    <dependencies>        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-core_2.11</artifactId>            <version>2.1.1</version>        </dependency>    </dependencies></project>

idea中运行spark程序

在 edit Configuration中的VM option添加参数 -Dspark.master=local

然后运行java程序即可。注意输入和输出路径为本地路径。
最后在本地的输出文件夹中出现part-0000和_SUCCESS文件。part_0000内容如下：

在本地运行上spark程序

在idea Terminal下运行

/usr/local-extend/spark/bin/spark-submit --class "com.spark.demo.WordCount" --master local[4] target/com.jd.demo.spark-1.0-SNAPSHOT.jar

注意此时使用hdfs输入和输出路径。如果运行成功同样会出现output文件夹，以及part_0000和_SUCCESS文件。

在YARN集群运行spark程序

在idea Terminal下运行

/usr/local-extend/spark/bin/spark-submit --class "com.jd.spark.demo.WordCount" --master yarn --deploy-mode cluster  target/com.demo.spark-1.0-SNAPSHOT.jar

我们可以在hadoop管理界面查看任务

地址： http://localhost:8088/cluster/apps/RUNNING

因为我在pc机上运行程序，花费时间比较长，还有几次死机了。。。。运行成功之后状态会变成SUCCESSED。

总结

到此spark环境搭建和示例运行就完成啦，注意在运行代码的过程中可能出现错误ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.AbstractMethodError: lekko.spark.SparkDemo$1.call(Ljava/lang/Object;)Ljava/util/Iterator;
这是由于scala和spark版本不兼容的原因，最开始我安装的是scala-2.12,后来在spark官网发现如下内容：

Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

也就是说我的spark是用scala-2.11构建的，所以把scala版本改为2.11，然后对代码进行调整，上面代码示例中有一段注释的部分

@Override            public Iterable<String> call(String s) throws Exception {                return Arrays.asList(SPACE.split(" "));            }

这里返回的类型是Iterable,这是scala-2.12版本的返回类型，对于scala-2.11我们的返回类型是Iterator，所以调整代码如下：

@Override            public Iterator<String> call(String s) throws Exception {                return Arrays.asList(s.split(" ")).iterator();

至此所有问题解决啦，希望对其他掉进坑里的同学有所帮助！
个人认为使用spark还是需要使用scala编程语言进行开发，这样可以非常简化代码，同是也可能避免这种版本问题，这个后续待研究！