Spark下Scala学习

来源：互联网发布：数据安全研究员要求编辑：程序博客网时间：2024/05/05 20:56

Ps：Scala初学，记录下个人学习过程，对大牛们的参考价值不大。

运行Spark中的样例：

以./Spark Shell的方式执行

./bin/spark-shell

执行例子：

import scala.math.randomimport org.apache.spark._object SparkPi {  def main() {  val slices = 2  val n = 100000 * slices  val count = sc.parallelize(1 to n, slices).map{i =>    val x = random * 2 - 1    val y = random * 2 - 1    if (x*x + y*y < 1) 1 else 0    }.reduce(_ + _)  println("Pi is roughly " + 4.0 * count / n)  }}

执行后会出现Pi的近似值，之前在想spark是不是也用hadoop jar的方式执行，但是没有jar啊，原来这个界面是可以直接写代码的，scala有点强

以./run-example的方式执行

先退出scala，执行

.bin/run-example org.apache.spark.examples.SparkPi

执行结果好长，以为出错了，后来发现竟然是成功的，过程不清楚，去健身回来再分析

0 0