Windows下单机安装scala-Spark开发环境

part1：版本信息

（1）系统：Win7或Win10

（2）jdk版本

版本：1.7.0_60

（3）spark版本

 spark-1.6.1-bin-hadoop2.6.tgz

http://apache.fayea.com/

http://apache.fayea.com/spark/spark-1.6.1/

（4）hadoop版本

hadoop-2.6.0.tar.gz

http://apache.fayea.com/

http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

（5）scala版本

 Scala2.10.6 b

part2: 各工具安装

1、Java下Spark开发环境搭建（参考：http://www.cnblogs.com/eczhou/p/5216918.html）

1.1、jdk安装

安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.7.0_79”，视自己安装路劲而定。

同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。

1.2 spark环境变量配置

去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6，对应的hadoop版本是2.6

解压下载的文件，假设解压目录为：D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量，同时新建SPARK_HOME变量，变量值为：D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop工具包安装

spark是基于hadoop之上的，运行过程中会调用相关hadoop库，如果没配置相关hadoop运行环境，会提示相关出错信息，虽然也不影响运行，但是这里还是把hadoop相关库也配置好吧。

1.3.1去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/，我下载的是hadoop-2.6.0.tar.gz，

1.3.2 解压下载的文件夹，将相关库添加到系统Path变量中：D:\hadoop-2.6.0\bin；同时新建HADOOP_HOME变量，变量值为：D:\hadoop-2.6.0

1.4 eclipse环境

直接新建java工程，将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。

2、scala下Spark开发环境搭建

    安装scala,并添加到系统变量path中

     在dos命令下，输入：spark-shell， 便可以打开scala-Spark开发环境。

注：如果出现如下错误：

参考：https://blogs.msdn.microsoft.com/arsen/2016/02/09/resolving-spark-1-6-0-java-lang-nullpointerexception-not-found-value-sqlcontext-error-when-running-spark-shell-on-windows-10-64-bit/

复制该处理问题方法，如下：

参考：

1、http://www.cnblogs.com/eczhou/p/5216918.html；

2、https://blogs.msdn.microsoft.com/arsen/2016/02/09/resolving-spark-1-6-0-java-lang-nullpointerexception-not-found-value-sqlcontext-error-when-running-spark-shell-on-windows-10-64-bit/