spark 加载多个目录; RDD输出到hdfs文件压缩
来源:互联网 发布:html 炫酷展示页源码 编辑:程序博客网 时间:2024/06/05 04:56
(1) spark textFile加载多个目录:
其实很简单,将多个目录(对应多个字符串),用,作为分隔符连接起来
val inputPath = List("hdfs://localhost:9000/test/hiveTest", "hdfs://localhost:9000/test/hiveTest2")
.mkString(",")
sparkContext
.textFile( inputPath )
(2) spark rdd saveAsTextFile 输出到HDFS 文件压缩
rdd.saveAsTextFile( "hdfs://localhost:9000/test/out" ) //正常不压缩
rdd.saveAsTextFile( "hdfs://localhost:9000/test/outGzip", classOf[ GzipCodec ] ) //Gzip压缩输出
rdd.saveAsTextFile( "hdfs://localhost:9000/test/outBzip2", classOf[ BZip2Codec ] ) //bzip2 压缩输出
hadoop 文件压缩格式对比:http://www.echojb.com/web-application-server/2017/07/10/449381.html
阅读全文
0 0
- spark 加载多个目录; RDD输出到hdfs文件压缩
- spark 通过 RDD 从HDFS文件加载JSON文件到sql表
- Spark学习笔记 --- spark RDD加载文件
- Spark核心编程:创建RDD(集合、本地文件、HDFS文件)
- Hadoop,Spark :文件输出压缩
- RDD输出到一个文件中
- Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件
- spark 多目录输出
- zip压缩多个路径的文件或目录到指定zip
- Hadoop,Spark[一]:文件输出压缩
- Spark把RDD数据保存到一个单个文件中
- Spark hello word(加载本地文件和加载hdfs文件)
- flume监控目录文件到hdfs
- 多个Flume合并一个channel上传文件到Hdfs
- spark多文件输出
- 解压缩多个文件到同一目录
- ASP.NET Core MVC压缩样式、脚本及总是复制文件到输出目录
- ASP.NET Core MVC压缩样式、脚本及总是复制文件到输出目录
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- Android_资料(更新中...)
- XML 解析(转)
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- linux中 vim 分屏指令(split)
- spark 加载多个目录; RDD输出到hdfs文件压缩
- Jmeter关联,正则表达式提取器使用
- Spark学习笔记(31)Kafka原理内幕和集群构建与测试实战
- 设计模式的应用场景(18)--命令模式
- 红黑树和二叉树
- centos6.5 网卡/etc/sysconfig/network: No such file or directory
- 如何使用RestTemplate访问restful服务
- JavaSE 循环结构
- Python中*和**的使用