windows下搭建Spark，Pycharm配置Spark测试

windows下搭建Spark需要分3步：JDK、Spark、Hadoop的安装及配置
（一）JDK的安装及环境配置
JDK下载地址：JDK下载
点一下accept License Agreement出现下面的图片，然后选择合适的版本下载。

JDK的安装十分简单，这里不予赘述。安装结束后需要进行环境变量配置：

右击我的电脑-属性-高级系统设置-环境变量

添加JAVA_HOME变量和CLASSPATH变量：

变量名：JAVA_HOME 变量值：JDK的安装目录
我电脑上是C:\Program Files\Java\jdk1.8.0_151

变量名：CLASSPATH
变量值%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

在path中添加路径：

变量值：上一步中所安装的JDK目录下的bin文件夹路径名，我这里是：
C:\Program Files\Java\jdk1.8.0_151\bin;路径之间用分号;隔开

全部设置好之后，打开cmd（win+R），输入：java -version。如果能够输出java的版本信息（如下图），说明JDK配置正确。

（二）Spark的安装及环境配置
Spark下载：Spark下载
我这里选择的版本是：spark-1.6.0-bin-hadoop2.6.tgz

Spark的环境变量配置：

变量名：SPARK_HOME 变量值：Spark的安装目录，我这里是I:\spark

添加path路径：I:\spark\bin;I:\spark\sbin;

（三）Hadoop的安装及环境配置
Hadoop下载：Hadoop下载

下载后解压即可。
由于版本问题需要替换解压后的bin文件中的winutils.exe。替换文件下载：winutils.exe下载
下载之后将该文件复制到hadoop\bin文件里，替换掉原来的winutils.exe。

添加环境变量HADOOP_HOME：

变量名：HADOOP_HOME 变量值：hadoop文件的安装目录

添加path路径：我这里是I:\hadoop\bin

（四）Python的下载安装
由于spark不支持python3.6，所以我下载的是python3.5
python3.5下载：python下载
选择合适的python下载安装（过程略，可自行百度）

以上步骤全部完成之后，打开cmd(win+R)输入：pyspark。出现下图则说明spark安装成功。

（五）Pycharm配置Spark
Pycharm的下载：Pycharm下载
安装过程这边不予赘述，请自行百度。

Pycharm安装结束后，配置Spark。可参考这篇博文：Pycharm配置Spark

配置结束后可通过一个小程序测试下是否配置成功，代码如下：

from pyspark import SparkContext
import os
import sys
os.environ[‘SPARK_HOME’] = “I:\spark”
os.environ[‘JAVA_HOME’] = “C:\Program Files\Java\jdk1.8.0_151”

sys.path.append(“I:\spark\python”)
sys.path.append(“I:\spark\lib\py4j-0.9-src.zip”)

sc = SparkContext(‘local’)
doc = sc.parallelize([[‘a’,’b’,’c’],[‘b’,’d’,’d’]])
words = doc.flatMap(lambda d:d).distinct().collect()
word_dict = {w:i for w,i in zip(words,range(len(words)))}
word_dict_b = sc.broadcast(word_dict)

def wordCountPerDoc(d):
dict={}
wd = word_dict_b.value
for w in d:
if wd[w] in dict:
dict[wd[w]] +=1
else:
dict[wd[w]] = 1
return dict
print(doc.map(wordCountPerDoc).collect())
print(“successful”)

运行结果如下图所示，则表明pycharm配置spark成功

本人也是第一次接触spark，搭建环境的时候也走了不少弯路，花了不少时间，所以写下这篇文章，希望可以帮助到其他人。