3.4 Spark RDD Action操作5-saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
来源:互联网 发布:爬山虎软件 编辑:程序博客网 时间:2024/06/05 18:21
1 saveAsTextFile
def saveAsTextFile(path: String): Unit
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit
saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。
codec参数可以指定压缩的类名。
例子:
var rdd1 = sc.makeRDD(1 to 10,2)
scala> rdd1.saveAsTextFile(“hdfs://cdh5/tmp/lxw1234.com/”) //保存到HDFS
hadoop fs -ls /tmp/lxw1234.com
Found 2 items
-rw-r–r– 2 lxw1234 supergroup 0 2015-07-10 09:15 /tmp/lxw1234.com/_SUCCESS
-rw-r–r– 2 lxw1234 supergroup 21 2015-07-10 09:15 /tmp/lxw1234.com/part-00000
hadoop fs -cat /tmp/lxw1234.com/part-00000
1
2
3
4
5
6
7
8
9
10
注意:如果使用rdd1.saveAsTextFile(“file:///tmp/lxw1234.com”)将文件保存到本地文件系统,那么只会保存在Executor所在机器的本地目录。
指定压缩格式保存:
rdd1.saveAsTextFile(“hdfs://cdh5/tmp/lxw1234.com/”,classOf[com.hadoop.compression.lzo.LzopCodec])
hadoop fs -ls /tmp/lxw1234.com
-rw-r–r– 2 lxw1234 supergroup 0 2015-07-10 09:20 /tmp/lxw1234.com/_SUCCESS
-rw-r–r– 2 lxw1234 supergroup 71 2015-07-10 09:20 /tmp/lxw1234.com/part-00000.lzo
hadoop fs -text /tmp/lxw1234.com/part-00000.lzo
1
2
3
4
5
6
7
8
9
10
2 saveAsSequenceFile
saveAsSequenceFile用于将RDD以SequenceFile的文件格式保存到HDFS上。
用法同saveAsTextFile。
3 saveAsObjectFile
def saveAsObjectFile(path: String): Unit
saveAsObjectFile用于将RDD中的元素序列化成对象,存储到文件中。
对于HDFS,默认采用SequenceFile保存。
例子:
var rdd1 = sc.makeRDD(1 to 10,2)
rdd1.saveAsObjectFile(“hdfs://cdh5/tmp/lxw1234.com/”)
hadoop fs -cat /tmp/lxw1234.com/part-00000
SEQ !org.apache.hadoop.io.NullWritable”org.apache.hadoop.io.BytesWritableT
- 3.4 Spark RDD Action操作5-saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
- 【Spark Java API】Action(6)—saveAsTextFile、saveAsObjectFile
- Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解
- 3.4 Spark RDD Action操作1-first、count、lookup、collect
- 3.4 Spark RDD Action操作2-take、top、takeOrdered
- 3.4 Spark RDD Action操作3-聚合-aggregate、fold、reduce
- 3.4 Spark RDD Action操作4-countByKey、foreach、foreachPartition、sortBy
- 3.4 Spark RDD Action操作6-saveAsHadoopFile、saveAsHadoopDataset
- 3.4 Spark RDD Action操作7-saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- 学习spark:三、RDD的action操作
- spark RDD transformation和action操作
- spark的rdd.saveastextfile可以追加写入hdfs吗
- Spark RDD使用详解5--Action算子
- 3.4 Spark RDD Action操作4-countByKey、foreach、foreachPartition、sortBy
- ABP从入门到精通(5):.扩展国际化语言资源
- 微软Tech Summit 2017,等你来打Call
- 开源纯C#工控网关+组态软件(四)上下位机通讯原理
- Eclipse装逼就靠这几个快捷键
- 3.4 Spark RDD Action操作5-saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- 李彦宏再怼移动互联网:都AI时代了,还盯着手机不放吗?!
- 《李彦宏喊话互联网公司:AI时代只关心软件就out了》
- 滴滴推出“宝贝专车”,提前2小时预约且不收额外费用
- 乌镇人机决战进行时,首战即决战!
- Ubuntu下pip3的安装、升级、卸载
- Err1055,出现这个问题往往是在执行sql语句时候,在最后一行会出现这个问题。
- Spring boot 多数据源配置(分配置文件和数据库表两种情况)
- 3.4 Spark RDD Action操作6-saveAsHadoopFile、saveAsHadoopDataset