windows下spark环境搭建

来源：互联网发布：生鲜网络销售平台编辑：程序博客网时间：2024/05/20 06:06

搭建完成单机环境可运行。

1.使用maven搭建。依赖spark,hadoop的jar包.不需要去安装hadoop,spark。不需要hadoop.dll.

<span style="white-space:pre"></span><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.10</artifactId><version>1.6.0</version><exclusions><exclusion><groupId>org.apache.hadoop</groupId><artifactId>hadoop-yarn-api</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.2</version><exclusions><exclusion><groupId>javax.servlet</groupId><artifactId>*</artifactId></exclusion></exclusions></dependency><dependency><groupId>com.databricks</groupId><artifactId>spark-csv_2.11</artifactId><version>1.4.0</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-math3</artifactId><version>3.6.1</version></dependency>

2.eclipse安装scala插件(也可以不装)。

3.准备winutils.exe,比如存放目录为：c:\hadoop\bin\winutils.exe。在eclipse的spark项目属性run/debug_setting中，指定environment环境变量：变量名为HADOOP_HOME，变量值为c:\hadoop。确认HADOOP_HOME\bin目录下有winuils.exe文件即可。可能配置HADOOP_HOME目录也行，还没试。

ok,运行spark示例代码吧。

想在本机执行，spark示例代码需要做个小改动：创建SparkConf时增加setMaster("local");

........ = new SparkConf().setAppName("JavaWordCount").setMaster("local");

0 0