Win 7 64位 单机Spark安装

1.准备安装软件

（1）jdk 1.8 
（2）scala 
（3）Intellij IDE 
（4）spark-1.3.0-bin-hadoop2.4.tgz 
 
为了读者方便，这里已经把以上文件下载好共享到百度网盘里了 地址

2.安装过程

（1）jdk 1.8 默认安装，安装完记得配置下环境变量，可通过cmd java -version检查是否安装成功 
（2）scala 默认安装，直接下一步即可 
（3）Intellij IDE，默认安装。安装完需要安装一下scala插件 
 
 
安装成功之后，在新建工程的时候可以看到scala选项 
 
（4）spark-1.3.0-bin-hadoop2.4.tgz直接解压，然后将spark-1.3.0-bin-hadoop2.4\lib\spark-assembly-1.3.0-hadoop2.4.0.jar复制到Intellij IDE安装目录下的lib文件夹中 
然后单击Intellij IDE菜单栏上File选项，选择Project Strcture,在弹出的对话框中单击左侧的Libraries,之后单击上方绿色+号，添加刚才下载的jar文件 

至此，安装成功！！！

3.简单演示

（1）新建一个名为HelloWorld的工程，注意配置下JDK，Scala SDK 路径 
（2）HelloWorld

object HelloWorld{  def main(args: Array[String]) {    println("Hello World")  }}
1
2
3
4
5
1
2
3
4
5

运行结果截图 
 
（3）WordCount

import org.apache.spark.{SparkConf,SparkContext}object WordCount{  def main(args: Array[String]) {    val conf = new SparkConf().setMaster("local").setAppName("WordCount")    val sc = new SparkContext(conf)    val data = sc.textFile("wc.txt")    data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)  }}
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11

运行结果截图