RDD/Dataset/DataFrame互转

来源:互联网 发布:java上最简单的游戏 编辑:程序博客网 时间:2024/05/16 06:40
1.RDD -> Dataset 
val ds = rdd.toDS()

2.RDD -> DataFrame 
val df = spark.read.json(rdd)

3.Dataset -> RDD
val rdd = ds.rdd

4.Dataset -> DataFrame
val df = ds.toDF()

5.DataFrame -> RDD
val rdd = df.toJSON.rdd

6.DataFrame -> Dataset
val ds = df.toJSON
原创粉丝点击