IntelliJ IDEA单机运行SparkPi实例

来源：互联网发布：凯撒大帝书籍知乎编辑：程序博客网时间：2024/06/05 13:31

1、环境

windows 7

IntelliJ IDEA 14.0.3

JDK 1.6

Spark 1.3.0

scala-2.11.4

2、准备工作

配置JDK，scala的环境变量，通过java -version、scala -version检验

安装IntelliJ IDEA 14.0.3，安装scala插件

3、创建一个工程

IntelliJ IDEA中new project 相当于eclipse的workspack,创建一个工作区间

而 new Module 才是创建一个工程。

添加spark-assembly-1.3.0-hadoop2.4.0依赖包

添加scala-sdk-2.11.4依赖包

创建一个scala object

package lesson01import scala.math.randomimport org.apache.spark._/** * Created by Administrator on 2015/5/13. */object Test {  def main(args:Array[String]){    println("sssssss")    val conf = new SparkConf().setAppName("Spark Pi")    val spark =new SparkContext(conf)    val slices=if (args.length > 0) args(0).toInt else 2 val n=10000 * slices    val count = spark.parallelize(1 to n,slices).map {i =>    val x= random * 2 -1 val y= random * 2 -1 if(x*x + y*y < 1) 1 else 0 }.reduce(_+_)    println("Pi is roughly "+4.0 * count / n)    spark.stop()  }}

拷贝sparkPi的样例代码，单机运行，需要配置虚拟机参数

对VM options 添加 -Dspark.master=local参数

应用-ok即可

然后再执行程序。

会报

异常，因为我们没有安装Hadoop运行环境，所以此处不用关注。

结果如下图显示。

1 0