参数为1个RDD的Cogroup
来源:互联网 发布:淘宝店铺图片大全 编辑:程序博客网 时间:2024/05/22 06:25
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object Cogroup {
def main(args: Array[String]): Unit = {
val sc = new SparkContext("local", "Cogroup", new SparkConf())
cogroupTrans(sc)
sc.stop()
}
def cogroupTrans(sc: SparkContext): Unit = {
val stuNames = Array(
Tuple2(1, "Spark"),
Tuple2(2, "Tecc"),
Tuple2(3, "Hadoop"))
val stuScores = Array(
Tuple2(1, 100),
Tuple2(1, 99),
Tuple2(2, 95),
Tuple2(3, 65))
val names = sc.parallelize(stuNames)
val scores = sc.parallelize(stuScores)
val stuNameAndScore = names.cogroup(scores)
stuNameAndScore.collect().foreach(println)
}
import org.apache.spark.SparkConf
object Cogroup {
def main(args: Array[String]): Unit = {
val sc = new SparkContext("local", "Cogroup", new SparkConf())
cogroupTrans(sc)
sc.stop()
}
def cogroupTrans(sc: SparkContext): Unit = {
val stuNames = Array(
Tuple2(1, "Spark"),
Tuple2(2, "Tecc"),
Tuple2(3, "Hadoop"))
val stuScores = Array(
Tuple2(1, 100),
Tuple2(1, 99),
Tuple2(2, 95),
Tuple2(3, 65))
val names = sc.parallelize(stuNames)
val scores = sc.parallelize(stuScores)
val stuNameAndScore = names.cogroup(scores)
stuNameAndScore.collect().foreach(println)
}
}
运行结果:
(1,(CompactBuffer(Spark),CompactBuffer(100, 99)))
(3,(CompactBuffer(Hadoop),CompactBuffer(65)))
(2,(CompactBuffer(Tecc),CompactBuffer(95)))
两个RDD先各自按照key进行分组,再进行联合分组
0 0
- 参数为1个RDD的Cogroup
- Spark RDD中Transformation的groupBy、partitionBy、cogroup详解
- day17:RDD案例(join、cogroup、reduceByKey、groupByKey, join cogroup
- Spark编程之基本的RDD算子之cogroup,groupBy,groupByKey
- Spark RDD转换操作union、join、cogroup
- pig的cogroup详解
- Pig 的flatten, cogroup
- Spark算子:RDD键值转换操作(4)–cogroup/join
- RDD键值转换操作(4)–cogroup、join
- Spark算子:RDD键值转换操作(4)–cogroup、join
- Spark算子:RDD键值转换操作(4)–cogroup、join
- 3.3 Spark RDD 键值转换操作4-cogroup、join
- pig中cogroup的使用
- sqlContext.filter()返回的RDD为空
- spark的wordcount产生多少个RDD
- Spark的join与cogroup简单示例
- spark RDD算子(七)之键值对分组操作 groupByKey,cogroup
- 有关pthread_join()第二个参数为二级指针的疑问
- 一个Android项目了解所有主流架构-1.项目介绍和基本MVC架构示例
- ubuntu 下 gcc切换
- MTK在设置/显示下增加永不休眠选项
- Qt多级解析Json文件
- PHP中date函数月和日带0问题
- 参数为1个RDD的Cogroup
- C++ primer plus读书笔记(三)
- HDU 1561 The more, The Better(多重背包+树形DP)
- 解读equals方法与hashCode方法渊源
- eclipse的Servers视图中无法添加Tomcat7的解决方法
- MySQL---数据库从入门走向大神系列(十七)-JavaWeb分页技术实例演示2
- 树
- 【其它】语义版本定义 以及 npm 的 semver
- Linux命令说明