spark rdd 和 DF 转换
来源:互联网 发布:it教育哪家好 编辑:程序博客网 时间:2024/05/28 01:35
分类:
RDD -》 DF
有两种方式
一、
一、Inferring the Schema Using Reflection
将 RDD[t] 转为一个 object ,然后 to df
val peopleDF = spark.sparkContext .textFile("examples/src/main/resources/people.txt") .map(_.split(",")) .map(attributes => Person(attributes(0), attributes(1).trim.toInt)) .toDF()
rdd 也能直接装 DATASet 要 import 隐式装换 类 import Spark.implicits._
如果 转换的对象为 tuple . 转换后 下标为 _1 _2 .....
二、Programmatically Specifying the Schema
把 columnt meta 和 rdd createDataFrame 在一起
val peopleRDD = spark.sparkContext.textFile("examples/src/main/resources/people.txt")// The schema is encoded in a stringval schemaString = "name age"// Generate the schema based on the string of schemaval fields = schemaString.split(" ") .map(fieldName => StructField(fieldName, StringType, nullable = true))val schema = StructType(fields)
val rowRDD = peopleRDD .map(_.split(",")) .map(attributes => Row(attributes(0), attributes(1).trim))// Apply the schema to the RDDval peopleDF = spark.createDataFrame(rowRDD, schema)// Creates a temporary view using the DataFramepeopleDF.createOrReplaceTempView("people")
DF to RDd
val tt = teenagersDF.rdd
阅读全文
0 0
- spark rdd 和 DF 转换
- spark rdd 和 DF 转换
- Spark RDD的转换
- spark rdd 转换过程
- Spark RDD的转换
- 【spark,rdd,2】RDD基本转换算子
- 使用java 将 Spark RDD和DataFrame转换
- Spark源码解读之RDD构建和转换过程
- spark下rdd和dataframe以及sqlcontext之间相互转换
- spark基础之RDD和DataFrame的转换方式
- rdd和DF数据存入MYSQL
- spark之RDD基本转换
- Spark之键值RDD转换
- Spark RDD的缓存 rdd.cache() 和 rdd.persist()
- Spark RDD的缓存 rdd.cache() 和 rdd.persist()
- RDD和DataFram转换
- Spark RDD和Dataset区别
- Spark RDD概念学习系列之RDD的转换图解
- 邝斌的ACM模板(莫比乌斯反演)
- 选择排序
- Codeforces 851C
- WOJ1170-Sorting
- Linux(Cent OS7.2)下启动停止memcached方法及ps命令使用讲解
- spark rdd 和 DF 转换
- 51nod 1179 最大的最大公约数
- 括号操作符重载案例
- struts2之struts1和struts2的区别
- Charles-1
- android oreo 中adb shell中的ps命令需要加参数ps -A
- 指针和数组
- 无法定位动态库在WINMM.dll解决方式
- Linux中别名永久生效