spark windows 单机 安装

来源:互联网 发布:js function bind 编辑:程序博客网 时间:2024/06/04 18:15

0目标

单机windows上,运行spark


1  前期准备

jdk 1.7 

2  下载spark 包

官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark,spark-1.6.2-bin-hadoop2.6,spark1.6.2,内嵌hadoop2.6,不要要without的

解压到D:\software\spark-1.6.2-bin-hadoop2.6

将D:\software\spark-1.6.2-bin-hadoop2.6设为SPARK_HOME变量

将D:\software\spark-1.6.2-bin-hadoop2.6\bin 添加到windows 系统Path变量

3 安装windows环境下hadoop依赖

spark是基于hadoop的额,运行过程调用hadoop库,将hadoop2.6编译好的包,下载解压hadoop-2.6.0.tar.gz

https://www.barik.net/archive/2015/01/19/172716/

将D:\software\hadoop-2.6.0设为HADOOP_HOME变量

将D:\software\hadoop-2.6.0\bin添加到系统Path变量中



0 0
原创粉丝点击