通过编程方式将RDD转换成DataFrame
来源:互联网 发布:什么叫根域名 编辑:程序博客网 时间:2024/06/05 19:43
package SparkSQLDemo
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by tg on 10/27/16.
* 通过编程方式将RDD转换为DataFrame
*/
object RDD2DataFrameProgram {
def main(args: Array[String]): Unit = {
val conf=new SparkConf().setAppName("RDD2DataFrameProgram").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)
//第一步,构造出元素为ROW的普通RDD
val stusRDD=sc.textFile("file:///home/tg/datas/stus.txt")
.map(line=>{
val stu=line.split(",")
Row(stu(0).toInt,stu(1),stu(2).toInt)
})
//第二步,通过编程方式动态构造元数据
val structType=StructType(Array(
StructField("id",IntegerType,true),
StructField("name",StringType,true),
StructField("age",IntegerType,true)
))
//第三步,进行RDD到DataFrame的转换
val stuDF=sqlContext.createDataFrame(stusRDD,structType)
//继续正常使用
stuDF.registerTempTable("stus")
val ageResult=sqlContext.sql("select * from stus where age<=18")
ageResult.show()
//DataFrame也可以转换为RDD,然后调用RDD的算子进行计算
ageResult.rdd.collect().foreach(row=>println(row))
}
}
0 0
- 通过编程方式将RDD转换成DataFrame
- 通过反射方式将RDD转换为DataFrame
- 将RDD转换成DataFrame
- Spark将RDD转换成DataFrame的两种方式
- Spark将RDD转换成DataFrame的两种方式
- 3.Spark SQL:使用反射方式、编程方式,将RDD转换为DataFrame
- [2.3]Spark DataFrame操作(二)之通过编程动态完成RDD与DataFrame的转换
- 将任意Java对象RDD转换成DataFrame
- RDD动态转换成DataFrame
- 如何将dataframe转换为rdd类型
- 将RDD[vector]转化成DataFrame
- rdd转换为DataFrame
- 使用java 将 Spark RDD和DataFrame转换
- spark基础之RDD和DataFrame的转换方式
- [2.2]Spark DataFrame操作(二)之通过反射实现RDD与DataFrame的转换
- RDD转换为DataFrame案例
- 从RDD转换得到DataFrame
- Spark中RDD转换成DataFrame的两种方式(分别用Java和scala实现)
- Java语言如何进行异常处理,关键字:throws、throw、try、catch、finally分别代表什么意义?在try块中可以抛出异常吗?
- JPA EntityManager详解
- 关于应用宝劫持的技术分析
- android动态换肤
- string 类 用.at越界抛出异常捕捉
- 通过编程方式将RDD转换成DataFrame
- STI团队理论(二):不要造重复的轮子
- 32bit 和 64bit系统的变量差异
- 第九周项目3-稀疏矩阵的三元组表示的实现及应用(2)
- android各个版本对应的版本数值,name与level
- videoview循环播放网络视频 和mediaplayer+sufaceview播放网络视频
- Google官方MVP Sample代码解读
- 如何批量修改文件名
- [深度学习]怎样使尺寸大小不一样的图片变为统一的size的C++程序