2.spark的RDD特性(Resillient Distributed Dataset)
来源:互联网 发布:小米6陶瓷尊享版 知乎 编辑:程序博客网 时间:2024/05/24 05:34
1、RDD是Spark提供的核心抽象,全称为Resillient DistributedDataset,即弹性分布式数据集。
2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分布式数据集)
3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也可以通过应用程序中的集合来创建。
4、RDD最重要的特性就是,提供了容错性,可以自动从节点失败中恢复过来。即如果某个节点上的RDDpartition,因为节点故障,导致数据丢了,那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。
5、RDD的数据默认情况下存放在内存中的,但是在内存资源不足时,Spark会自动将RDD数据写入磁盘。(弹性)
0 0
- 2.spark的RDD特性(Resillient Distributed Dataset)
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark的RDD与DataFrame、DataSet
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark的核心RDD(Resilient Distributed Datasets弹性分布式数据集)
- Spark RDD(Resilient Distributed Datasets)论文 | ApacheCN
- Spark RDD和Dataset区别
- Spark 之 RDD、DataFrame和DataSet的区别是什么
- Spark 之 RDD、DataFrame和DataSet的区别是什么
- 使用 Log4j 将日志记录到远程系统
- gulp安装&less插件
- Web9. CSS常见属性2
- Linux--进程间通信--管道
- 【机器学习】【可视化】Matplotlib的scatter函数用法
- 2.spark的RDD特性(Resillient Distributed Dataset)
- C3P0数据库连接池的基本使用
- android移除数据
- (回溯法)LeetCode#79. Word Search
- Java中调用Oracle存储过程及存储函数
- photoshop 快捷键操作 and 基本操作
- TensorFlow+MNIST实例讲解
- 【iOS】按钮点击弹窗
- 基于CAS4.0.0的单点登陆