spark windows开发调试环境

来源:互联网 发布:淘宝小叶紫檀有真的吗 编辑:程序博客网 时间:2024/06/05 03:13

spark在windows搭建开发测试环境,需要进行配置
1、JDK
本人用的是jdk1.7.0_15
2、hadoop-2.6.0.tar.gz
下载hadoop-2.6.0.tar.gz,解压,假如解压到D:\hadoop-2.6.0,环境变量添加HADOOP_HOME=D:\hadoop-2.6.0,path添加%HADOOP_HOME%\bin;
3、spark-1.6.0-bin-hadoop2.6.tgz
下载spark-1.6.0-bin-hadoop2.6.tgz,解压,假如解压到D:\spark-1.6.0-bin-hadoop2.6,环境变量添加SPARK_HOME=D:\spark-1.6.0-bin-hadoop2.6,path添加%SPARK_HOME%\bin;
以上的三个需要注意版本匹配,配置完成后重启电脑。

原创粉丝点击