thransformation操作
来源:互联网 发布:one软件 编辑:程序博客网 时间:2024/06/15 19:56
1、map:将集合中每个元素乘以2
2、filter:过滤出集合中的偶数
3、flatMap:将行拆分为单词
4、groupByKey:将每个班级的成绩进行分组
5、reduceByKey:统计每个班级的总分
6、sortByKey:将学生分数进行排序
7、join:打印每个学生的成绩
//使用join算子关联两个RDD,jion之后还是会根据key进行join,返回javapairRDD;JavaPairRDD的第一个泛型类型是之前两个RDD的key的类型,因为是通过key进行join的;第二个泛型类型Tuple < v1,v2 >类型,tuple的两个泛型分别是之前两个RDD的value类型。
8、cogroup:打印每个学生的成绩
//相当于一个KEY join上的所有value都给放到一个Iterable里面去了。
阅读全文
0 0
- thransformation操作
- 操作
- 操作
- 操作
- 操作
- jquery操作table操作
- JqueryDOM操作-样式操作
- JqueryDOM操作-属性操作
- 只用+操作实现 -,*,/操作
- string操作、文件操作
- 文件操作-路径操作
- VC操作操作Word
- 字符串操作&内存操作
- 位操作,移位操作
- sparkSQL操作基本操作
- IO操作(文件操作)
- 文件操作
- Cookie操作
- [初学笔记] matlab中优化测试 profiler的工具使用, profile相关的命令
- 合并两个有序的数组
- SVM之核函数
- RESTful的一些总结
- 第五周 【项目1
- thransformation操作
- vue中路由切换动画效果(transition)
- 排序
- 通用块层和SCSI层--I/O处理过程
- 【矩阵快速幂】Experienced Endeavour
- OpenCV 3.3.0+opencv_contirb在VS2015下的配置
- [ZJOI2008]树的统计Count
- 操作票功能
- java的动态代理机制详解