Spark Windows开发环境搭建

1. 参照：Spark在Windows下的环境搭建
2. 使用idea或者其他开发工具编写代码
3. 直接运行main 方法

代码示例：

package org.fashj.sparkimport org.apache.spark.{SparkConf, SparkContext}/**  * @author zhengsd  */object SparkPi {  def main(args: Array[String]) {    val conf = new SparkConf()    conf.setMaster("local").setAppName("SparkPi")    val sc = new SparkContext(conf)    val text = sc.textFile("file:\\C:\\devtools\\spark\\README.md")    val result = text.flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).collect()    result.foreach(println)  }}

---

可以用
Idea上使用Gradle构建Spark项目，也可以使用普通的Java项目方式。