spark--actions算子--first

来源:互联网 发布:淘宝推广教程视频 编辑:程序博客网 时间:2024/06/13 14:38
import org.apache.spark.{SparkConf, SparkContext}/**  * Created by liupeng on 2017/6/16.  */object A_first {  System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5")  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("first_test").setMaster("local")    val sc = new SparkContext(conf)    //first返回数据集的第一个元素,类似于take(1)    val nameList : List[Int] = List(1,2,3,4,5)    val numbers = sc.parallelize(nameList)    val num = numbers.first()    println(num)    val nums = numbers.take(1)    for (n <- nums)    {      println(n)    }    //如果n大于总数,则会返回所有的数据    val nums1 = numbers.take(8)    for (n <- nums1)    {      println(n)    }    //如果n小于等于0,会返回空数组    val nums2 = numbers.take(-1)    for (n <- nums2)    {      println(n)    }  }}
运行结果:
1
1
12345