spark saveAsTextFile
来源:互联网 发布:js ide 编辑:程序博客网 时间:2024/06/06 19:54
当我运行完一个Spark程序想把结果保存为saveAsTextFile
,
结果使用Hadoop fs -ls la /qy/151231.txt
后发现里面有一系列的part,好几千个。
原因:
运行Spark的时候把数据分成了很多份(partition),每个partition都把自己的数据保存在partxxx文件夹。
如果想保存为一份的话,就要:
先collect
或者
- 1
- 1
You can also use repartition(1), which is just a wrapper for coalesce() with the suffle argument set to true.
但是如果你的数据很多,还是不要这样做了。
如果已经存了很多个part:
可以把大文件夹getmerge:
- 1
- 2
- 3
- 1
- 2
- 3
也可以:
- 1
- 1
You can also use repartition(1), which is just a wrapper for coalesce() with the suffle argument set to true.
但是如果你的数据很多,还是不要这样做了。
如果已经存了很多个part:
可以把大文件夹getmerge:
- 1
- 2
- 3
- 1
- 2
- 3
也可以:
0 0
- Spark saveAsTextFile
- spark saveAsTextFile
- spark--actions算子--saveAsTextFile
- spark saveAsTextFile保存到文件
- spark 调用saveAsTextFile 报错NullPointerException
- 【Spark Java API】Action(6)—saveAsTextFile、saveAsObjectFile
- spark算子flatMap与textFile、saveAsTextFile结合小案例
- spark中saveAsTextFile如何最终生成一个文件
- spark的rdd.saveastextfile可以追加写入hdfs吗
- 3.4 Spark RDD Action操作5-saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解
- Spark代码3之Action:reduce,reduceByKey,sorted,lookup,take,saveAsTextFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark生态之Alluxio学习22--saveAsTextFile alluxio后count (有bug)
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
- saveAsTextFile很慢very slow
- HTML 5 音频
- EventAggregator
- 82-再议 select 版回射客户端
- 入门--ASP.NET Web API 2
- 电路原理设计----低功耗(待更新)
- spark saveAsTextFile
- Linux free -m 详细说明
- 常用查看Android的Key签名信息命令
- RxJava学习过程部分总结
- 【IT软技能】激活phpstorm方法
- 第一次发博客。。。
- 【WLAN从入门到精通-基础篇】第6期——WLAN常用概念
- SQLServer比较时间大小
- 在maven工程中pom.xml遇到引用不到正确的jar包的问题?