Spark RDD(DataFrame) 写入到HIVE的代码实现
来源:互联网 发布:国外代购淘宝 编辑:程序博客网 时间:2024/06/02 04:18
在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。
而将RDD要实现注入到Hive表中,是需要进行转化的。
关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.
然后,关键转化代码就两行。
data.toDF().registerTempTable("table1")
sql("create table XXX as select * from table1")
而这里面,SQL语句是可以修改的,如写到某个分区,新建个表,选取其中几列等。
实现效果如图所示:
运行完成之后,可以进入HIVE查看效果,如表的字段,表的记录个数等。完胜。
0 0
- Spark RDD(DataFrame) 写入到HIVE的代码实现
- Spark RDD(DataFrame) 写入到HIVE的代码实现
- spark rdd转dataframe 写入mysql的示例
- spark 将dataframe数据写入Hive分区表
- spark<Dataframe 直接写入hive表>
- [2.2]Spark DataFrame操作(二)之通过反射实现RDD与DataFrame的转换
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- spark 中rdd与dataframe的合并
- Spark的RDD与DataFrame、DataSet
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- Spark RDD、DataFrame和DataSet的区别
- 关于一个简单ATM系统的UML建模——问题描述&词汇表&领域类图
- Vue学习笔记_01
- Mac环境下,搭建了AndroidStudio开发环境
- HTML——标签
- POJ1988 Cube Stacking
- Spark RDD(DataFrame) 写入到HIVE的代码实现
- KMP模式匹配算法总结
- 计算机中带符号的整数为何采用二进制的补码进行存储?
- 使用VS自带Dumpbin判断动态链接库.dll和应用程序.exe是32位还是64位
- opencv入门之数米粒
- 比较字符串大小
- 南阳理工ACM 题目22 素数求和问题
- 数据分析在实际项目上的应用
- ActiveMQ入门:点对点模型