Spark Demo程序运行及相应问题

Demo程序

创建scala项目

注意JDK与Scala SDK的选择

从spark官网下载spark-2.2.1-bin-hadoop2.7.tgz，链接
解压之后，在Libraries中添加

Spark的例子 Pi Estimation
完整版本代码如下

import org.apache.spark.{SparkConf, SparkContext}object SparkPi {  def main(args:Array[String]){    val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")    val sc = new SparkContext(conf)    val slices = if (args.length > 0) args(0).toInt else 2    val n = 100000 * slices    val count = sc.parallelize(1 to n).filter{ _ =>      val x = math.random * 2 - 1      val y = math.random * 2 - 1      x * x + y * y < 1    }.count()    println("Pi is roughly " + 4.0 * count / n)    sc.stop()  }}

然后，运行程序，可能出现的问题及方法总结如下：

问题

Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决方法参考1
解决方法参考博客2
解决方法参考博客3

问题解决方法

先从Hadoop官网下载hadoop-2.7.5.tar.gz，链接
解压后，从参考3中Prasad D回答的

Download it from here and add to $HADOOP_HOME/bin

点击下载得到hadoop-common-2.2.0-bin-master.zip
解压后，将所有文件复制到Hadoop-2.7.5/bin文件夹下

再根据参考2中的说法，将hadoop.dll复制到system32中，
修改hadoop-2.7.5\etc\hadoop中的xml文件
然后，根据参考1，修改计算机环境变量，添加


之后可能需要重启电脑或者IDEA软件

结果图