spark--transform算子--reduceByKey
来源:互联网 发布:火车头采集软件下载 编辑:程序博客网 时间:2024/05/29 19:13
import org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/16. */object T_reduceByKey { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("reduceByKey_test").setMaster("local") val sc = new SparkContext(conf) val list1 = List(("liupeng", 120), ("liupeng", 120), ("liusi", 120)) val rdd = sc.parallelize(list1) //reduceByKey方法用于根据key做分组计算,但是和reduce不同,他还是属于T算子 val sum = rdd.reduceByKey((x, y) => x + y) .foreach(println) }}
运行结果:
(liusi,120)
(liupeng,240)
(liupeng,240)
阅读全文
0 0
- spark--transform算子--reduceByKey
- Spark算子reduceByKey深度解析
- Spark算子reduceByKey深度解析
- spark--transform算子--cartesian
- spark--transform算子--coalesce
- spark--transform算子--cogroup
- spark--transform算子--distinct
- spark--transform算子--filter
- spark--transform算子--flatMap
- spark--transform算子--groupByKey
- spark--transform算子--intersection
- spark--transform算子--join
- spark--transform算子--map
- spark--transform算子--mapPartitions
- spark--transform算子--mapPartitionsWithIndex
- spark--transform算子--parallelized
- spark--transform算子--repartition
- spark--transform算子--sample
- 爬虫爬虫爬虫(一)
- [每日翻译](2)c#深度拷贝对象
- hdu 1061
- Unity3D数学基础(1)
- HDU1059 && POJ1014
- spark--transform算子--reduceByKey
- mac sierra系统本地搭建hadoop 3.0.0
- 理解 async/await
- Nginx + Lua + 共享内存实现动态查询(简单例子)
- Java字符串 详;List 接口;Staic 关键字;Super关键字;
- Asp.net core Angular4 SPA程序如何在刷新后不报错404
- 在ACM竞赛中string的几个基本操作
- WAVE文件的头格式(例如PCM文件)
- Javascript进阶(一)