spark--actions算子--first
来源:互联网 发布:淘宝推广教程视频 编辑:程序博客网 时间:2024/06/13 14:38
import org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/16. */object A_first { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("first_test").setMaster("local") val sc = new SparkContext(conf) //first返回数据集的第一个元素,类似于take(1) val nameList : List[Int] = List(1,2,3,4,5) val numbers = sc.parallelize(nameList) val num = numbers.first() println(num) val nums = numbers.take(1) for (n <- nums) { println(n) } //如果n大于总数,则会返回所有的数据 val nums1 = numbers.take(8) for (n <- nums1) { println(n) } //如果n小于等于0,会返回空数组 val nums2 = numbers.take(-1) for (n <- nums2) { println(n) } }}
运行结果:
1
1
12345
阅读全文
0 0
- spark--actions算子--first
- spark--Actions算子--countByKey
- spark--actions算子--collect
- spark--actions算子--count
- spark--actions算子--reduce
- spark--actions算子--saveAsObjectFile
- spark--actions算子--saveAsTextFile
- spark--actions算子--takeOrdered
- spark--actions算子--takeSample
- Spark算子:RDDAction操作–first/count/reduce/collect/collectAsMap
- Spark 算子
- spark算子
- spark 算子
- Spark算子
- spark算子
- Spark RDD Actions&Transformations
- Spark操作算子 转换算子
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- Android Wi-Fi MIMO/SISO设置方法(基于高通平台)
- hdu2795-Billboard (线段树求区间最大值)
- 数据库表的约束和索引
- ramdisk.img的生成过程
- macOS系统下搭建React开发环境
- spark--actions算子--first
- 解决Server Tomcat v8.0 Server at localhost was unable to start within 45 seconds.问题
- 自己动手写一个依赖注入框架
- Hibernate(四)一对多映射 补充三:双向多对一关系(学生-->班级)
- 欢迎使用CSDN-markdown编辑器
- spring生成代理对象的过程(AOP切面)
- WPF MVVM 绑定RadioButton数据
- 使用Struts2,但仅仅想返回json数据的方法
- java-随机数Math.random()