如何理解spark中RDD和DataFrame的结构？

RDD中可以存储任何的单机类型的数据，但是，直接使用RDD在字段需求明显时，存在算子难以复用的缺点。

例如，现在RDD存的数据是一个Person类型的数据，现在要求所有每个年龄段（10年一个年龄段）的人中最高的身高与最大的体重。

使用RDD接口，因为RDD不了解其中存储的数据的具体结构，数据的结构对它而言是黑盒，于是这就需要用户自己去写一个很特化的聚合的函数来完成这样的功能。

而有了DataFrame，则框架会去了解RDD中的数据是什么样的结构的，用户可以说清楚自己对每一列进行什么样的操作，这样就有可能可以实现一个算子，用在多个列上，比较容易进行算子的复用。甚至，未来又要同时求出每个年龄段内不同的姓氏有多少个，则使用RDD接口，之前的函数需要改动很大才能满足需求，而使用DataFrame接口，则只需要添加对这一个列的处理，原来的max/min的相关列处理都可保持不变。

总而言之，DataFrame相关接口就是RDD的一个扩展，让RDD了解了RDD中存储的数据包含哪些列，并可以在列上进行操作。

另外，DataFrame基本上快要被Dataset接口取代了，你可以再去了解下Dataset接口。

作者：张云聪
链接：https://www.zhihu.com/question/48684460/answer/112346482
来源：知乎

著作权归作者所有，转载请联系作者获得授权。

作者：CyannyLiang
链接：https://www.zhihu.com/question/48684460/answer/123355450
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

旅行中无意看到这个问题，最近的项目和spark dataframe相关，也来谈谈自己的理解啦
Spark RDD是分布式弹性数据集，一个比较核心的是粗粒度的分布式计算，粗粒度是指用户不用关心太多的分布式细节，用声明式的API就能完成分布式计算，比如Word Count用一行就能写完。RDD易用性很好，那Spark为啥还要有Dataframe呢？
DataFrame的从API上借鉴了R和pandas的DataFRame的概念，是业界标准结化数据处理API。DataFrame的数据抽象是命名元组，代码里是Row类型，Dataframe结合了过程化编程和声名式的API，让用户能用过程化编程的方法处理结构化数据。
Dataframe比RDD多了限制，带来了更多的优化，基于Spark Catalyst优化器，提供如列裁剪，谓词下推，map join等优化。同时，采用code generation ，动态编译表达式，提升性能，比用rdd的自定义函数性能高5倍左右。
举个例子，

rdd.map(lambda line: line.split("\t"))   .map(lambda items: (items[0], items[1], items[2], items[3]))   .filter(lambda items: int(items[2]) >= 19)   .select(lambda items: (items[0], items[1]))

sqlContext.table("people")        .filter(col("age") >= 19)        .select("id", "name")

用rdd读结构化文本要用map函数，需要按位置获取数据，没有schema，性能和可读性都不好。
而用dataframe可以直接通过sede读取结构化数据，性能比RDD高2到3倍左右，比MR高5倍左右，同时，具有结构化的数据，可读性更好。
DataFrame具有很好的易用性，支持多种语言，在一个上下文可以写udf，具有部署一致性，以前写HQL Transform的用户可以试试Dataframe，在复杂统计分析中，有dataframe可以过程化编程，模块化会更好，可读性强。
Dataframe可以用df.rdd等方式转化为RDD，处理更多灵活的操作。

Spark2.0推出DataSet，是更加强类型的API，用了scala的泛型，能在编译是发现更多的编译问题DataFrame是DataSet〈Row〉类型，DS在接口上和DataFrame很相似。感觉是为了和structured streaming 统一做铺垫。

另外，看到Apache Beam这个google的开源项目正在用flume java的API统一google cloud api ，spark和flink这个和bigflow很像。

从用过dataframe的同事反馈，dataframe的易用性、性能都挺好。