spark--Actions算子--countByKey
来源:互联网 发布:淘宝v3会员是几钻 编辑:程序博客网 时间:2024/06/07 12:51
import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/17. */object A_countByKey { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") Logger.getLogger("org").setLevel(Level.ERROR) def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("countByKey_test").setMaster("local") val sc = new SparkContext(conf) //准备一下数据 val nameList = List(("A",1),("A",2),("B",1)) val data = sc.parallelize(nameList) //仅适用于类型(K,V)的RDD,返回与每个键的计数的(K,Int)对的hashmap val num = data.countByKey() for (x <- num) { println(x) } }}
运行结果:
(B,1)
(A,2)
(A,2)
阅读全文
0 0
- spark--Actions算子--countByKey
- spark--actions算子--collect
- spark--actions算子--count
- spark--actions算子--first
- spark--actions算子--reduce
- spark--actions算子--saveAsObjectFile
- spark--actions算子--saveAsTextFile
- spark--actions算子--takeOrdered
- spark--actions算子--takeSample
- Spark算子[07]:reduce,reduceByKey,count,countByKey
- Spark算子:RDD行动Action操作(4)–countByKey、foreach
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- spark RDD算子(十)之PairRDD的Action操作countByKey, collectAsMap
- spark rddToPairRDDFunctions countByKey
- spark countByKey用法详解
- Android app中实现网络监听
- Leetcode 449 Serialize and Deserialize BST
- Android移动端与服务器api接口加密示例(AES,MD5,Token)
- GC知识点
- IoT小能手:家电状态显示及控制系统
- spark--Actions算子--countByKey
- Ubuntu14.04(32位)下Caffe(仅CPU模式)编译
- Maven创建Web项目
- PHP 出现解析json数据出错的问题
- python常用命令
- swarm
- PostgreSQL 数据类型介绍(五)OID的理解
- android权限那点事儿
- SSM框架下使用JSON进行前后端数据传输