spark--transform算子--groupByKey
来源:互联网 发布:appcleaner中文版 mac 编辑:程序博客网 时间:2024/06/04 23:24
import org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/16. */object T_groupByKey { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("groupByKey_test").setMaster("local") val sc = new SparkContext(conf) val scoreMap = List("liupeng" -> 150, "liupeng" -> 50, "liusi" -> 120, "xiaoma" -> 100) //groupByKey把相同的key的元素放到一起去 val rdd = sc.parallelize(scoreMap) val result = rdd.groupByKey() result.foreach(x => println(x._1 + ":" + x._2)) }}
运行结果:
liusi:CompactBuffer(120)
liupeng:CompactBuffer(150, 50)
xiaoma:CompactBuffer(100)
liupeng:CompactBuffer(150, 50)
xiaoma:CompactBuffer(100)
阅读全文
0 0
- spark--transform算子--groupByKey
- spark--transform算子--cartesian
- spark--transform算子--coalesce
- spark--transform算子--cogroup
- spark--transform算子--distinct
- spark--transform算子--filter
- spark--transform算子--flatMap
- spark--transform算子--intersection
- spark--transform算子--join
- spark--transform算子--map
- spark--transform算子--mapPartitions
- spark--transform算子--mapPartitionsWithIndex
- spark--transform算子--parallelized
- spark--transform算子--reduceByKey
- spark--transform算子--repartition
- spark--transform算子--sample
- spark--transform算子--sortByKey
- spark--transform算子--union
- loj 6197. 法克 最小路径覆盖 好题
- bash下的单方括号和双方括号
- 更改Ubuntu gcc、g++默认编译器版本
- SSH中设置Hibernate执行的SQL 语句打印控制台
- 如何在R中绘制树图(TreeMap)
- spark--transform算子--groupByKey
- hadoop系列文档3-配置Hdfs高可用HA
- HttpUtil工具类
- springboot-devtools热部署
- Git教程(二)-如何上传和同步自己的git项目
- SSD为什么需要Trim?
- 全排列算法
- E
- JFreeChart 基本教程