Spark-sql结果保存指定位置
来源:互联网 发布:qt程序员常用单词 编辑:程序博客网 时间:2024/05/16 12:24
//1.读取数据,将每一行的数据使用列分隔符分割
val lineRDD = sc.textFile("hdfs://node1.itcast.cn:9000/person.txt", 1).map(_.split(" "))
//2.定义case class(相当于表的schema)
case class Person(id:Int, name:String, age:Int)
//3.导入隐式转换,在当前版本中可以不用导入
import sqlContext.implicits._
//4.将lineRDD转换成personRDD
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
//5.将personRDD转换成DataFrame
val personDF = personRDD.toDF
6.对personDF进行处理
#(SQL风格语法)
personDF.registerTempTable("t_person")
sqlContext.sql("select * from t_person order by age desc limit 2").show
sqlContext.sql("desc t_person").show
val result = sqlContext.sql("select * from t_person order by age desc")
7.保存结果
result.save("hdfs://hadoop.itcast.cn:9000/sql/res1")
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")
#以JSON文件格式覆写HDFS上的JSON文件
import org.apache.spark.sql.SaveMode._
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json" , Overwrite)
8.重新加载以前的处理结果(可选)
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res1")
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")
val lineRDD = sc.textFile("hdfs://node1.itcast.cn:9000/person.txt", 1).map(_.split(" "))
//2.定义case class(相当于表的schema)
case class Person(id:Int, name:String, age:Int)
//3.导入隐式转换,在当前版本中可以不用导入
import sqlContext.implicits._
//4.将lineRDD转换成personRDD
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
//5.将personRDD转换成DataFrame
val personDF = personRDD.toDF
6.对personDF进行处理
#(SQL风格语法)
personDF.registerTempTable("t_person")
sqlContext.sql("select * from t_person order by age desc limit 2").show
sqlContext.sql("desc t_person").show
val result = sqlContext.sql("select * from t_person order by age desc")
7.保存结果
result.save("hdfs://hadoop.itcast.cn:9000/sql/res1")
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")
#以JSON文件格式覆写HDFS上的JSON文件
import org.apache.spark.sql.SaveMode._
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json" , Overwrite)
8.重新加载以前的处理结果(可选)
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res1")
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")
阅读全文
0 0
- Spark-sql结果保存指定位置
- 保存结果到指定位置
- spark协同过滤结果保存问题
- sql 合并结果集 保存到字符串
- SQL基础第四章保存结果
- Spark Streaming: 保存上一个批次数据的计算结果
- Spark SQL数据加载和保存实战
- Spark SQL数据加载和保存实战
- Spark SQL数据加载和保存实战
- Spark SQL数据加载和保存实战
- [SQL]指定文件位置优化性能
- SQL学习----添加列到指定位置
- spark sql 读取指定json字段
- 启动其他Activity并保存结果到指定组件上
- c#创建xml文件并保存到指定位置
- php上传图片到指定位置路径保存到数据库
- Android调用系统相机拍照并保存到指定位置
- 格式化数字,保存指定的小数位置NumberFormat类
- phono 问题
- JAVA实现图片叠加效果
- uva12657 Boxes in a Line 双向链表
- C# StringBuilder
- 用 easyui ajax 写 http 测试客户端
- Spark-sql结果保存指定位置
- Mozilla 17年最新计划,发展健康的互联网
- sqlserver-触发器-判断更新了哪个字段。
- [饼干]Kotlin Trick 001-省略一些重复的工作
- 根据传入url请求,返回json字符串
- Rails中的sample方法
- [UOJ 130]【NOI2015】荷马史诗:哈夫曼树
- 刷清橙OJ--A1050.碱基比例
- JAVA 日期操作