SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境

这段时间在做异构数据库，由于工作要拓展到分布式上，所以开始学习spark，也算是刚刚涉足spark大数据计算的领域。之前写过SparkSQL的程序，但当时是直接将Scala程序放到服务器上用sbt来将原程序达成jar包，再使用spark-submit提交的，但是与后来越觉得这种方式好麻烦，没法进行代码调试，所以今天下定决心要使用eclipse去搭建一个Scala的开发环境，但只是简易搭建 不安装Spark，Hadoop。首先要去在机器上安装好Scala和scala for eclipes，其中因为要使用到spark中的一个jar包(spark-assembly-1.6.0-hadoop2.6.0.jar),这个jar包只有spark1.6（spark-1.6.0-bin-hadoop2.6）的版本里有，而且spark1.6只是支持scala2.10.所以要下载并安装Scala2.10，下载并安装Scala for eclipse，调试好eclipse可以运行Scala程序。然后下载spark-1.6.0-bin-hadoop2.6（不用安装，只是用到其中spark-assembly-1.6.0-hadoop2.6.0.jar）,下载结束后将lib文件夹中的这个jar包导入到建立的spark project中。之后再下载 hadoop的bin文件[download](https://github.com/srccodes/hadoop-common-2.2.0-bin).下载结束后建立个名叫Hadoop的文件夹，将下载好的bin文件复制其中，并且在环境变量中配置好（配置HADOOP_HOME、path）重启后生效，或者再程序里加上这一句（ System.setProperty("hadoop.home.dir", "C:\\Research\\hadoop");）。接下来就是建立一个Scala project、object。贴上下面的测试代码进行测试。（代码是网上找的....）

package com.imf.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject WordCount {   def main(args: Array[String]): Unit = {     System.setProperty("hadoop.home.dir", "C:\\Research\\hadoop");     /**      * 1.创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息，      * 例如：通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置为local,      * 则代表Spark程序在本地运行，特别适合于机器配置条件非常差的情况。      */     //创建SparkConf对象     val conf = new SparkConf()     //设置应用程序名称，在程序运行的监控界面可以看到名称     conf.setAppName("My First Spark App!")     //设置local使程序在本地运行，不需要安装Spark集群     conf.setMaster("local")     /**      * 2.创建SparkContext对象      * SparkContext是spark程序所有功能的唯一入口，无论是采用Scala,java,python,R等都必须有一个SprakContext      * SparkContext核心作用：初始化spark应用程序运行所需要的核心组件，包括DAGScheduler,TaskScheduler,SchedulerBackend      * 同时还会负责Spark程序往Master注册程序等；      * SparkContext是整个应用程序中最为至关重要的一个对象；      */     //通过创建SparkContext对象，通过传入SparkConf实例定制Spark运行的具体参数和配置信息     val sc = new SparkContext(conf)     /**      * 3.根据具体数据的来源（HDFS,HBase,Local,FS,DB,S3等）通过SparkContext来创建RDD；      * RDD的创建基本有三种方式：根据外部的数据来源（例如HDFS）、根据Scala集合、由其他的RDD操作；      * 数据会被RDD划分成为一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴；      */     //读取本地文件，并设置一个partition     val lines = sc.textFile("C://Research//spark-1.6.0-bin-hadoop2.6//spark-1.6.0-bin-hadoop2.6//README.md",1)     /**      * 4.对初始的RDD进行Transformation级别的处理，例如map,filter等高阶函数的变成，来进行具体的数据计算      * 4.1.将每一行的字符串拆分成单个单词      */     //对每一行的字符串进行拆分并把所有行的拆分结果通过flat合并成一个大的集合      val words = lines.flatMap { line => line.split(" ") }     /**      * 4.2.在单词拆分的基础上对每个单词实例计数为1，也就是word => (word,1)      */     val pairs = words.map{word =>(word,1)}     /**      * 4.3.在每个单词实例计数为1基础上统计每个单词在文件中出现的总次数      */     //对相同的key进行value的累积（包括Local和Reducer级别同时Reduce）     v     wordCounts.foreach(pair => println(pair._1+":"+pair._2))     sc.stop。    )   }  }

如果没报错完美运行，那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错，可以在下面评论中留言，咱们再交流。运行，那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错，可以在下面评论中留言，咱们再交流。OK,that's all