0004.RDD理解
来源:互联网 发布:讯飞读屏软件下载 编辑:程序博客网 时间:2024/06/06 17:20
RDD:弹性分布式数据集,(resilient distributed dataset)
必须背会
特点:
1.A list of partitions
一系列的分片:比如说128M一片,类似与Hadoop中的split
2.A function for computer each split
在每个分片上都有一个函数去迭代、执行、计算它
3.A list of dependencies on other RDDs
一系列的依赖:RDDa转换为RDDb,RDDb转换为RDDc,那么RDDc就依赖于RDDb,RDDb就依赖于RDDa
lineage
4.Optionally,a Partitioner for key-value RDDs(e.g. to say that the RDD is hash-partioned)
对于key-value的RDD可指定一个partitioner,告诉它如何进行分片;常用的有hash,range
5.Optionally, a list of preferred location(s) to compute each split on(e.g. block locations for an HDFS file)
要运行的计算/执行,最好在哪几个机器上运行。数据本地性。
为什么会有几个地方
比如:hadoop默认有3个地方,或者spark cache到内存可能通过StorageLevel设置多个副本,所以一个partition可能返回多个最佳位置
abstract class RDD[T:ClassTag]()
getPartitions:对一个数据集进行计算时,有多少split,进行分片。
分区、计算、依赖
1.分区:每个HDFSblock
2.依赖:无
3.函数:读取每个block
4.最佳位置:HDFS block所在,类似与MapReduce的本地化,
5.分区策略:无
0 0
- 0004.RDD理解
- spark RDD的理解
- 理解Spark的RDD
- spark RDD的理解
- 理解Spark RDD
- Spark-理解RDD
- 深入理解RDD
- Spark RDD的理解
- Spark核心RDD理解
- 理解Spark的RDD
- Spark-理解RDD
- 理解Spark的核心RDD
- 理解Spark的核心RDD
- 理解Spark的核心RDD
- Spark RDD之入门理解
- 理解Spark的核心RDD
- 理解Spark的核心RDD
- 理解Spark的核心RDD
- Android View的事件分发机制
- bzoj1455: 罗马游戏
- CSDN-markdown编辑器使用方法
- 均方根信息滤波(SRIF)测试(三)
- C语言 回调函数
- 0004.RDD理解
- bzoj 4373: 算术天才⑨与等差数列
- Fragment 动态加载 / 静态加载
- 第九章(3)-开发拥有自定义事件的控件-学习笔记
- ZmlBlog博客演示
- 有关一台电脑上启动多个tomcat服务器的问题
- 基于opencv的鼠标操作
- Best Time to Buy and Sell Stock IV
- 机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)