spark parquet 从hdfs 上读 和写 scala 版本
来源:互联网 发布:linux运维面试会问什么 编辑:程序博客网 时间:2024/06/05 00:28
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.SaveModeobject GenericLoadSave { def main(args: Array[String]): Unit = { val conf = new SparkConf() .setAppName("GenericLoadSave") .setMaster("local") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) //读取一个parquet文件 val usersDF = sqlContext.read.format("parquet").load("hdfs://hadoop1:9000/input/users.parquet") usersDF.write.mode(SaveMode.Overwrite).format("parquet").save("hdfs://hadoop1:9000/output/namesAndFavColors_scala") val tDF = sqlContext.read.format("parquet").load("hdfs://hadoop1:9000/output/namesAndFavColors_scala") tDF.show() }}
0 0
- spark parquet 从hdfs 上读 和写 scala 版本
- spark parquet 从hdfs 上读 和写
- HDFS列式存储Parquet与行式存储(Avro)性能测试-Benchmark(hadoop, Spark, Scala)
- python spark中parquet文件写到hdfs,同时避免太多的小文件(block小文件合并)
- spark和scala插件中scala版本不同
- HDFS读和写
- 基于spark2.0整合spark-sql + mysql + parquet + HDFS
- spark 批量读取HDFS(hive分区)parquet文件
- scala 写spark
- spark从hdfs上读取文件运行wordcount
- spark从hdfs上读取文件运行wordcount
- spark从hdfs上读取文件运行wordcount
- Parquet_11. Spark: DataFrames 和 Parquet -- 待完善
- Spark RDD编程(Python和Scala版本)
- spark常用RDD算子 汇总(java和scala版本)
- 关于Spark 和 scala 版本冲突的问题
- kafka和spark都是用scala写的
- spark streaming 写hdfs问题
- 在DOS下引用jar包
- 【JZOJ3852】单词接龙
- xml的4中解析方式与详解
- 使用IntelliJ IDEA 配置Maven(入门)
- 总结 C++中 基本内置类型 数据所占大小 和数据类型
- spark parquet 从hdfs 上读 和写 scala 版本
- 第4节-牛顿方法、指数分布族和广义线性模型
- java中image与tif图片的互转
- Java反射机制详解
- Poj 1061 青蛙的约会【拓展欧几里得】
- IO流_面试题之final,finally和finalize的区别、面试题之如果在finally之前有return
- (四十四)进程间的锁
- ViewPager作用于广告条的流程
- Android NDK入门(上)