pySpark(一)--创建RDD

来源:互联网 发布:网络学堂 编辑:程序博客网 时间:2024/05/30 05:10
我们知道,在Spark中创建RDD的创建方式大概可以分为三种:(1)、从集合中创建RDD;(2)、从外部存储创建RDD;(3)、从其他RDD创建。

而从集合中创建RDD,Spark主要提供了两中函数:parallelize和makeRDD。

makeRDD函数接收的参数和parallelize完全一致。其实第一种makeRDD函数实现是依赖了parallelize函数的实现


1 0
原创粉丝点击