在windows下配置eclipse的spark调试环境

1.下载配置jdk，scala。

2.下载eclipse for scala。

3.下载带编译好的spark jar包。

4.在eclipse中新建工程，导入 spark-assembly-1.1.1-hadoop1.0.4.jar 这类jar包，并且删除scala原有的library。

5.新建类，输入以下代码，执行成功就可以了

importscala.math.random

importorg.apache.spark._

/** Computes an approximation to pi */

objecttest2{

defmain(args: Array[String]) {

valconf=newSparkConf().setAppName("Spark Pi").setMaster("local")

valspark=newSparkContext(conf)

valslices=if(args.length>0)args(0).toIntelse2

valn= math.min(100000L*slices,Int.MaxValue).toInt// avoid overflow

valcount=spark.parallelize(1untiln,slices).map{i=>

valx=random*2-1

valy=random*2-1

if(x*x+y*y<1)1else0

}.reduce(_+_)

println("Pi is roughly " + 4.0 * count / n )

spark.stop()

}

}

其中最重要的是黄底的位置，必须设置为local,在使用ide本地调试的时候,不管是eclipse还是IntelliJ都是配置上面的conf