通过反射方式将RDD转换为DataFrame
来源:互联网 发布:四维数据能分辨男女吗 编辑:程序博客网 时间:2024/05/21 11:18
package SparkSQLDemo
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by tg on 10/27/16.
* 通过反射方式将RDD转换成DataFrame
*/
//注意:此时需要extends App,不能使用main函数
object RDD2DataFrameReflection extends App{
val conf=new SparkConf().setAppName("RDD2DataFrameReflection").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)
/**
* 使用反射方式将RDD转换为DataFrame,需要手动导入一个隐式转换
*/
import sqlContext.implicits._
case class Student(id:Int,name:String,age:Int)
val stuDF=sc.textFile("file:///home/tg/datas/stus.txt")
.map(line=>line.split(","))
.map(m=>Student(m(0).trim.toInt,m(1).trim,m(2).trim.toInt)).toDF()
stuDF.registerTempTable("stus")
val ageResult=sqlContext.sql("select * from stus where age<18")
ageResult.show()
}
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by tg on 10/27/16.
* 通过反射方式将RDD转换成DataFrame
*/
//注意:此时需要extends App,不能使用main函数
object RDD2DataFrameReflection extends App{
val conf=new SparkConf().setAppName("RDD2DataFrameReflection").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)
/**
* 使用反射方式将RDD转换为DataFrame,需要手动导入一个隐式转换
*/
import sqlContext.implicits._
case class Student(id:Int,name:String,age:Int)
val stuDF=sc.textFile("file:///home/tg/datas/stus.txt")
.map(line=>line.split(","))
.map(m=>Student(m(0).trim.toInt,m(1).trim,m(2).trim.toInt)).toDF()
stuDF.registerTempTable("stus")
val ageResult=sqlContext.sql("select * from stus where age<18")
ageResult.show()
}
0 0
- 通过反射方式将RDD转换为DataFrame
- 3.Spark SQL:使用反射方式、编程方式,将RDD转换为DataFrame
- 通过编程方式将RDD转换成DataFrame
- 如何将dataframe转换为rdd类型
- rdd转换为DataFrame
- Spark将RDD转换成DataFrame的两种方式
- Spark将RDD转换成DataFrame的两种方式
- 将RDD转换成DataFrame
- RDD转换为DataFrame案例
- [2.2]Spark DataFrame操作(二)之通过反射实现RDD与DataFrame的转换
- RDD转换为DataFrame的两种方式及spark sql的简单实例
- RDD 转化为 DataFrame
- 使用java 将 Spark RDD和DataFrame转换
- 将任意Java对象RDD转换成DataFrame
- spark基础之RDD和DataFrame的转换方式
- [2.3]Spark DataFrame操作(二)之通过编程动态完成RDD与DataFrame的转换
- RDD动态转换成DataFrame
- 从RDD转换得到DataFrame
- Java内部排序(六)-(插入排序法之折半插入排序)
- Poj 2456 Aggressive cows (二分逼近)
- Android 蓝牙客户端实现
- Centos 6 下安装 erlang 手记
- flex中DataGrid(表格)的使用
- 通过反射方式将RDD转换为DataFrame
- matplotlib 的安装
- 基础笔试编程题(jz)
- 总结下Intent可以打开的系统项
- Eclipse新建maven web项目
- 开启tomcat远程debug
- hive 查看某表字段类型
- css注意事项05
- React Native之FlexBox介绍与使用