将rdd存储到本地的一个文件中
来源：互联网 发布：Linux设置用户得密码 编辑：程序博客网 时间：2024/05/29 04:47
有时候我们要将一个很大的rdd文件存储到本地，都会用 saveAsTextFile(path)
但是发现数据被存储为几个文件（部分）
一般是执行多少task就会保存多少文件
这是为了更好的进行并行操作
但是你非的要存成一个文件，也是可以的
data.coalesce(1,true).saveAsTextFile("/home/wangtuntun/saveAsSingleFile")
或者
data.repartition(1).saveAsTextFile("/data/aas/AliMusic/submit_layout_data.csv")
其中，data是一个rdd类型的变量
0 0
- 将rdd存储到本地的一个文件中
- 将rdd存储到本地的一个文件中
- RDD输出到一个文件中
- 将一个指定目录下的java文件的绝对路径，存储到一个文本中
- 将一个指定目录下的Java文件的绝对路径存储到一个文本文件中。
- Java io将文本数据存储到一个文件中
- ORACLE RAC(11203)环境将误建立在本地目录的文件转移到ASM存储中
- 将本地图片文件写到模拟器的相册中
- Spark把RDD数据保存到一个单个文件中
- 将电脑本地的文件拷贝到android虚拟机的虚拟存储卡(sdcard)
- 将数据存储到文件中
- 将数据存储到文件中
- rac环境将误建立在本地目录的数据文件转移到ASM存储中。
- android 将简单的数据存储到本地－SharedPreferences
- 将本地项目存储到github的步骤
- 如何将本地的一个新项目上传到GitHub上新建的仓库中去
- 黑马程序员高级学习视频IO输入输出流 将一个指定目录下的java文件的绝对路径，存储到一个文本文件中
- 一个将web中datatable下载到本地excel的函数
- SQL综合训练
- C#错误码提示
- Russian Doll Envelopes
- java插入排序
- Eclipse+PyDev离线配置Python开发环境
- 将rdd存储到本地的一个文件中
- 【java】fckeditor在线编辑器的使用
- Hadoop基础教程-第3章 HDFS：分布式文件系统（3.3 HDFS参数解读）
- Redis多机数据库思维导图
- 过路费
- [YTU]_2354 (H 实现复数类中的加运算符重载【C++运算符重载】)
- ssh--service注入时出错：ERRORDefaultDispatcherErrorHandler:42
- Java多线程Sample 1
- 【Angular2】核心概念
