Spark action 操作列表
来源:互联网 发布:阿里云机房等级标准 编辑:程序博客网 时间:2024/06/05 23:55
以下内容来自 Spark 官方文档 Actions 小节, 更多内容可查看官方文档. 如有不当之处, 欢迎指正.
可以看出 action 的所有操作都是针对数据集中 “元素” (element) 级别的动作, action 的主要内容是 存储 和 计算. 引用 《Learning Spark》 里的说法:
Actions are operations that return a result to the driver program or write it to storage, and kick off a computation, such as count() and first().
再进一步细分的话大概有:
获取元素
collect(), first(), take(n), takeSample(withReplacement, num, [seed]), takeOrdered(n, [ordering])计数元素
count(), countByKey()迭代元素
reduce(func), foreach(func)保存元素
saveAsTextFile(path), saveAsSequenceFile(path), saveAsObjectFile(path)
最后如果你对 transformation 和 action 仍有疑惑的话,书里也教了一个识别的好方法,观察函数的返回类型:如果返回的是 RDD 类型,那么这是 transformation; 如果返回的是其他数据类型,那么这是 action.
If you are ever confused whether a given function is a transformation or an action, you can look at its return type: transformations return RDDs, whereas actions return some other data type.
- Spark action 操作列表
- Spark之Action操作
- Spark开发-Action操作
- Spark Action操作
- spark action 操作(1)
- Spark:Java实现Action操作
- Spark:Scala实现action操作
- 学习spark:三、RDD的action操作
- Spark的Transform与Action操作(important)
- spark RDD transformation和action操作
- Spark常用函数讲解--Action操作
- Spark常用函数讲解之Action操作
- Spark常用transformation和action操作
- Spark核心操作--Transformation和Action
- Spark常用函数讲解之Action操作
- Spark常用函数之Action操作
- 【Spark】RDD操作详解4——Action算子
- 【Spark】RDD操作详解4——Action算子
- Nginx管理工具bat
- Spring速查手册——Bean装配
- java实现comparator排序
- Hibernate系列--(1)
- MindManager中的“线条”怎么改?
- Spark action 操作列表
- 什么是Java bean
- 对象存储Swift
- OAuth2.0认证协议
- 数据结构List实例(四):使用归并排序对单链表进行排序
- Linux内核网络:实现和理论(2014)-第十章 IPsec
- Python网页抓取之Lxml
- BootStrap 表单时间选择器
- Android编程笔记 1——去掉应用标题栏