Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
来源:互联网 发布:淘宝已买到的宝贝 编辑:程序博客网 时间:2024/06/05 08:02
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素,不排序。
def top(num: Int)(implicit ord: Ordering[T]): Array[T]
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
takeOrdered和top类似,只不过以和top相反的顺序返回元素。
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素,不排序。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21 scala> rdd1.take(1)res0: Array[Int] = Array(10) scala> rdd1.take(2)res1: Array[Int] = Array(10, 4)top
def top(num: Int)(implicit ord: Ordering[T]): Array[T]
top函数用于从RDD中,按照默认(降序)或者指定的排序规则,返回前num个元素。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21 scala> rdd1.top(1)res2: Array[Int] = Array(12) scala> rdd1.top(2)res3: Array[Int] = Array(12, 10) //指定排序规则scala> implicit val myOrd = implicitly[Ordering[Int]].reversemyOrd: scala.math.Ordering[Int] = scala.math.Ordering$$anon$4@767499ef scala> rdd1.top(1)res4: Array[Int] = Array(2) scala> rdd1.top(2)res5: Array[Int] = Array(2, 3)takeOrdered
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
takeOrdered和top类似,只不过以和top相反的顺序返回元素。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21 scala> rdd1.top(1)res4: Array[Int] = Array(2) scala> rdd1.top(2)res5: Array[Int] = Array(2, 3) scala> rdd1.takeOrdered(1)res6: Array[Int] = Array(12) scala> rdd1.takeOrdered(2)res7: Array[Int] = Array(12, 10)
0 0
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- RDD行动Action操作(2)–take、top、takeOrdered
- 3.4 Spark RDD Action操作2-take、top、takeOrdered
- Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
- Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
- Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
- Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- Spark算子:RDD行动Action操作(4)–countByKey、foreach
- spark RDD算子(九)之基本的Action操作 first, take, collect, count, countByValue, reduce, aggregate, fold,top
- Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- 使用双重指针实现链表结点的插入与删除
- Rsync同步不需要密码的绝对可行版本!
- android 6.0系统扫不到Ble蓝牙问题
- 【转载】CSS魔法堂:你真的理解z-index吗?
- thinkphp php7 Cannot use 'String' as class name as it is reserved
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- linux下c开发
- 一个Java实现的简单的多个客户端聊天程序(未测试)
- C++中嵌入python程序——使用API接口,从函数到类
- Ajax传递给后台值得做法
- 【HDU】1061 - Rightmost Digit(快速幂)
- 45 个非常有用的 Oracle 查询语句(未测试)
- 数组的clone()方法
- (1)HTML标签详解之开篇语