spark--actions算子--saveAsTextFile
来源:互联网 发布:spss syntax 导入数据 编辑:程序博客网 时间:2024/06/06 17:34
import org.apache.hadoop.io.compress.GzipCodecimport org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/16. */object A_saveAsTextFile { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("saveAsTextFile_test").setMaster("local") val sc = new SparkContext(conf) //准备一下数据 val nameList: List[String] = List("c", "d", "a", "e", "f", "k") val numbers = sc.parallelize(nameList) //将数据集作为文本文件保存到指定的文件系统、hdfs、或者hadoop支持的其他文件系统中 numbers.saveAsTextFile("test_data_save") numbers.saveAsTextFile("test_data_save2", classOf[GzipCodec]) }}
运行结果生成为两个目录:
阅读全文
0 0
- spark--actions算子--saveAsTextFile
- spark--Actions算子--countByKey
- spark--actions算子--collect
- spark--actions算子--count
- spark--actions算子--first
- spark--actions算子--reduce
- spark--actions算子--saveAsObjectFile
- spark--actions算子--takeOrdered
- spark--actions算子--takeSample
- spark算子flatMap与textFile、saveAsTextFile结合小案例
- Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解
- Spark saveAsTextFile
- spark saveAsTextFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
- spark saveAsTextFile保存到文件
- 分针网——每日分享:ECMAScript 6之Set和Map数据结构
- java 判断数据类型和方法
- linux 下面查询sql展示更好看的方式
- PHP发送POST请求的三种方式
- 实现封装在安卓里的html5,跳转到指定activity
- spark--actions算子--saveAsTextFile
- gcc 优化选项 -O1 -O2 -O3 -Os 优先级
- Application Performance Management(APM)
- MySQL索引设计背后的数据结构及算法详解
- 动归————红牌
- 堆排序
- svn版本控制工具的学习
- IO
- Java网络API(java.net):概览