使用Eclipse构建Spark Java集成开发环境

来源：互联网发布：以太网传输数据PLC 编辑：程序博客网时间：2024/06/06 01:27

最近在eclipse构建spark java开发环境走了很多坑，把步骤记录下来。

第一步、从spark官网上下载spark安装包，我下载的为spark-1.5.1-bin-hadoop2.6

直接解压缩即可，在环境变量path中配置为你解压缩的路径+\bin，我的path为D:\spark-1.5.1-bin-hadoop2.6\bin，在cmd中输入spark-shell

第二步、在eclipse中新建一个工程，添加依赖jar包（在解压缩spark文件夹的lib目录下，我的为D:\spark-1.5.1-bin-hadoop2.6\lib）。
注意：从spark 2.0开始没有这个jar包，需要将lib文件夹下的所有jar包添加。
第三步、使用java 8的lambda表达式编写经典的wordcount。
import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;public class test {public static void main(String[] args) {SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("word count");JavaSparkContext sc = new JavaSparkContext(conf)；sc.textFile(test.class.getResource("").toString()+"README.md").flatMap(x -> {return Arrays.asList(x.split(""));}) .mapToPair(x -> {return new Tuple2<>(x,1);}).reduceByKey((x,y) ->{return x+y;}).foreach(x ->{System.out.println(x._1+"出现了"+x._2);});sc.close();}}
运行会报错failed to locate the winutils binary in the hadoop binary path，并不影响结果，解决方法去下载对应版本的hadoop binary，我们这里去下载hadoop-2.6.0，添加环境变量path：D:\hadoop-2.6.0\bin，再次运行成功，结果截图一部分为：

阅读全文

0 0