【亲测】windows 10 下安装spark

一.【前言】

  最近想要学习spark，所以打算在windows 10笔记本上搭建单机版spark环境，练习spark的基本使用。在此过程中遇到了许多头疼的问题，经过多方查询资料，总算搭建好了，具体流程梳理如下，希望能给你一些启示或是帮助。

二.【工具准备】

具体如下：
1. java: JDK 8u121 with NetBeans 8.2，你也可以下载单独的JDK 8u121，不带有IDE NetBeans 8.2
http://www.oracle.com/technetwork/java/javase/downloads/jdk-netbeans-jsp-142931.html

2.spark: spark-2.1.0-bin-hadoop2.6
https://spark.apache.org/downloads.html

3.winutils.exe: 用于改变文件或文件夹读写权限的工具，本文下载的是针对hadoop-2.6.4的64位的winutils.exe
https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.4/bin

4.hadoop-2.6.4和scala-2.11.8可到官网自行下载，或是从下文中分享文件中获得

三.【安装及系统环境变量设置】

   java，scala为双击安装即可，spark, hadoop解压到你想保存的目录，注意路径中不要有空格或是windows下容易出错的字符, winutils.exe拷贝到hadoop解压后的bin目录下。环境变量的设置具体如下(根据个人安装目录而定)

  如果你在解压缩hadoop过程中出现错误”客户端没有所需的特权“，解决办法参考 http://jingyan.baidu.com/article/6079ad0e92cc8d28ff86dbc0.html?st=2&net_type=&bd_page_type=1&os=0&rst=&word=win7%E6%80%8E%E6%A0%B7%E8%A7%A3%E5%8E%8B%E6%96%87%E4%BB%B6

环境变量设置截图

注意： 编辑系统变量PATH的值，将java,spark,hadoop的相关bin路径添加进去，注意是添加，不要删除原有的其他应用的路径值！！！每个路径之间用英文半角的引号(;)分开

我的是：
C:\Program Files\Java\jdk1.8.0_121\bin;C:\ProgramFiles\Java\jre1.8.0_121\bin;D:\Application\hadoop\hadoop2.6.4\bin;D:\Application\spark\spark-2.1.0-bin-hadoop2.6\bin;

四.【使用winutils.exe修改权限】

winutils.exe chmod 777 c:\tmp\hive

关闭命令行窗口，重新新的命令行窗口

五.【注意事项总结】

1. 版本适应问题，如spark2.1.0需要的scala版本为2.11版本，spark版本和hadoop版本要相适应2. 尽量不要使文件路径中出现空格或是windows下难以处理的字符3. 本文中的文件路径要根据个人具体情况而定4. winutils.exe要根据个人情况选择32位或是64位5. 更详细的内容可参考 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/ 以及 其他相关文章

六.【温馨提示】

1.为方便大伙操作方便，此文中用到的文件已经打包并分享到了百度云，链接：http://pan.baidu.com/s/1dEYHfyT 密码：rmer

2.如果您想关注我的个人最新动态，请关注我的微信公众号：沈万三爱搬砖

七.【参考】

https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/