【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂
来源:互联网 发布:注塑机械手调试与编程 编辑:程序博客网 时间:2024/05/16 17:08
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第7期互动问答分享】
Q1:Spark中的RDD到底是什么?
RDD是Spark的核心抽象,可以把RDD看做“分布式函数编程语言”。
RDD有以下核心特征:
Alist of partitions
Afunction for computing each split
Alist of dependencies on other RDDs
Optionally,a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
Optionally,a list of preferred locations to compute each split on (e.g. block locationsfor an HDFS file)
RDD中有两种核心操作:Transformation和Action,Transformation时只会记录对数据操作的元数据,Action时会对数据进行计算并产出结果。
Q2:Checkpoint和persist是什么类型的RDD呢?
RDD的Operation分为两类,transformation和action,其中transformation产生新的RDD,action产生新的数据。作为DAG的lineage对transformation进行存储,当action时执行lineage并产生数据。
checkpoint和persist是RDD比较特殊的两个操作, persist持久化RDD, checkpoint持久化RDD同时切断历史lineage。
Persist和checkpoint有违immutability的操作,它们实际上修改RDD meta info中的storage level和lineage,并返回修改过的RDD对象自身而非新的RDD对象。
Q3:Spark在运行的时候Driver程序运行在什么地方?
在Standalone的模式下Driver运行在提交Spark Application的客户端;
客户端能够提交Spark程序是应为安装了Spark;
Driver要负责程序的运行;
Q4:理解DAGScheduler对DAG Stage划分的诀窍是什么?
一般而言出现从外部读取数据、进行Shuffle操作和写数据的时候会成为Stage划分的边界;
Stage内部的操作是Pipeline的,可以极大的提高程序运行效率;
Shuffle是两个Stage的划分点;
Q5:如何理解Narrow Dependencies和Wide Dependencies?
NarrowDependencies和Wide Dependencies构成了Spark Lineage;
NarrowDependencies:例如map、filter、union、join with inputs co-partitioned;
WideDependencies:例如groupByKey、join with inputs notco-partitioned;
判断是Narrow Dependencies的关键就是左侧RDD Partition操作产出的结果是唯一右侧的RDD Partition;
判断是Wide Dependencies的关键就是左侧RDD Partition操作产出的结果是至少两个右侧的RDD Partitions;
- 【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第4期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第9期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- Spark视频第1期:Spark亚太研究院决胜云计算大数据时代:100期Spark公益大讲堂之革命Hadoop Spark把云计算大数据速度提高100倍以上
- Spark视频第8期:Spark亚太研究院决胜大数据时代公益大讲坛:Machine Learning on Spark
- Spark视频第10期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Yarn
- Spark视频第11期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark Docker
- Spark视频第12期Spark亚太研究院决胜大数据时代公益大讲坛:Spark as a Service
- Spark视频第14期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Docker深入揭秘
- node 修改z-Order并排序
- cocos2dx场景切换内存问题
- 【转载】独家:开发者不可不知的PHP框架深度解析
- 中国网店人才网
- CSDN英雄会题解之分巧克力与巨人网络笔试题之上台阶
- 【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 适配IOS6 IOS7 label
- linux 模拟网络延迟、丢包
- 使用autotools管理linux项目
- hdu 3790 最短路径问题
- 查看网络图片
- 【JAVA】24点 递归穷举
- mac下面visio的替代品Omnigraffle
- 程序员常用英语大集合 http://bbs.itheima.com/thread-118950-1-1.html (出处: 黑马程序员IT技术论坛)