sprak rdd转DataFrame
来源:互联网 发布:win10磁盘整理软件 编辑:程序博客网 时间:2024/06/09 13:58
先简单介绍一下rdd和DataFrame的区别
像txt这种没有schema信息的文件,可以通过下面这种方式加载,加载进来后就是一个rdd
val rdd = spark.sparkContext.textFile("d:/xxx/xxx.txt")
而像json和parquet文件可以通过下面方式导入,导入进来后就是一个df
val df = spark.read.format("json").load("d:/xxx/xxx.json")
rdd可以通过下面的方式转成DataFrame
先定义一下case class类
case class Info(id:Int,name:String,age:Int)
导入隐式转换
import spark.implicits._
val infoDF = rdd.map(_.split(",")).map(line=>Info(line(0).toInt,line(1),line(2).toInt)).toDF()
然后就可以很方便的查询了
infoDF.filter(infoDF.col("age") > 30).show()
也可以转成一个临时表,使用spark sql的方式来查询infoDF.createOrReplaceTempView("infos")spark.sql("select * from infos where age > 30").show()
阅读全文
0 0
- sprak rdd转DataFrame
- Sprak RDD缓存
- SparkSQL操作RDD转DataFrame
- Sprak学习之RDD五大特性
- RDD, DataFrame or Dataset
- RDD与DataFrame
- Spark:DataFrame 与 RDD
- rdd转换为DataFrame
- RDD & schema 创建dataFrame
- RDD/DataSet/DataFrame
- RDD,DataFrame,DataSet区别
- RDD,DataFrame与DataSet
- RDD/Dataset/DataFrame互转
- RDD和Dataframe
- RDD, DataFrame or Dataset
- DataFrame和 Rdd
- RDD、DataFrame、Dataset介绍
- RDD 转化为 DataFrame
- (12)简单数据校验:addFieldError
- Zookeeper使用--命令行
- 级联菜单-评论功能
- BD2390
- 【Aladdin Unity3D Shader编程】之三 光照模型(二)
- sprak rdd转DataFrame
- centos7+solr7.1环境搭建(学习笔记一)
- GAD大致了解-HDS
- 多台Linux服务器之间互相免密登陆
- 求Sn=a+aa+aaa+...+aa...a的值
- SpringMVC随笔——认识拦截器
- mybatis 的<choose> <when>标签和<if test >标签的区别
- VirtualBox克隆CentOS之后网络的配置
- js关闭当前页面/关闭当前窗口/移动端 代码