10.DStream的transformation操作概览
来源:互联网 发布:硬件跟软件行业 编辑:程序博客网 时间:2024/06/03 21:47
transformation操作概览(一)
Transformation
Meaning
map
对传入的每个元素,返回一个新的元素
flatMap
对传入的每个元素,返回一个或多个元素
filter
对传入的元素返回true或false,返回的false的元素被过滤掉
union
将两个DStream进行合并
count
返回元素的个数
reduce
对所有values进行聚合
countByValue
对元素按照值进行分组,对每个组进行计数,最后返回<K, V>的格式
reduceByKey
对key对应的values进行聚合
cogroup
对两个DStream进行连接操作,一个key连接起来的两个RDD的数据,都会以Iterable<V>的形式,出现在一个Tuple中。
transformation操作概览(二)
Transformation
Meaning
join
对两个DStream进行join操作,每个连接起来的pair,作为新DStream的RDD的一个元素
transform
对数据进行转换操作
updateStateByKey
为每个key维护一份state,并进行更新(这个,我认为,是在普通的实时计算中,最有用的一种操作)
window
对滑动窗口数据执行操作(实时计算中最有特色的一种操作)
阅读全文
0 0
- 10.DStream的transformation操作概览
- Spark Streaming——DStream Transformation操作
- 关于DStream的输出(foreachRDD)操作
- ####好#####DStream中的转换(transformation)
- spark streaming 中对DStream 的两个操作
- Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作
- Spark中transformation算子的操作
- Spark之RDD的Transformation操作
- Spark:Scala实现常用的Transformation操作
- Spark Streaming介绍,DStream,DStream相关操作(来自学习资料)
- Spark学习笔记(26)在DStream的Action操作之外也可能产生Job操作
- Web.config 转换概览(Transformation Overview)
- dstream的两种类型
- 对DStream.foreachRDD的理解
- SparkStreaming中DStream的概念
- Spark RDD transformation操作
- spark RDD transformation操作
- Spark transformation操作
- 机器学习正则化概述
- Android模拟屏幕鼠标
- 裸机实验体验之SD卡下载
- 欢迎使用CSDN-markdown编辑器
- 接受·改变——写给想上985的211学生
- 10.DStream的transformation操作概览
- 什么样的类vector和map不能构造其对象呢?
- mvn build 遇到的错误
- XML_pull解析
- CSS(二)
- php中array转为json时的对象和数组的对应关系
- Apache
- UFT_基础14_动态数组重构excel,字典
- nyoj 括号配对问题(stack的使用)