将rdd存储到本地的一个文件中
来源：互联网 发布：如何弄死一个淘宝店铺 编辑：程序博客网 时间：2024/05/29 00:32
有时候我们要将一个很大的rdd文件存储到本地，都会用 saveAsTextFile(path)
但是发现数据被存储为几个文件（部分）
一般是执行多少task就会保存多少文件
这是为了更好的进行并行操作
但是你非的要存成一个文件，也是可以的
data.coalesce(1,true).saveAsTextFile("/home/wangtuntun/saveAsSingleFile")
或者
data.repartition(1).saveAsTextFile("/data/aas/AliMusic/submit_layout_data.csv")
其中，data是一个rdd类型的变量
1 0
- 将rdd存储到本地的一个文件中
- 将rdd存储到本地的一个文件中
- RDD输出到一个文件中
- 将一个指定目录下的java文件的绝对路径，存储到一个文本中
- 将一个指定目录下的Java文件的绝对路径存储到一个文本文件中。
- Java io将文本数据存储到一个文件中
- ORACLE RAC(11203)环境将误建立在本地目录的文件转移到ASM存储中
- 将本地图片文件写到模拟器的相册中
- Spark把RDD数据保存到一个单个文件中
- 将电脑本地的文件拷贝到android虚拟机的虚拟存储卡(sdcard)
- 将数据存储到文件中
- 将数据存储到文件中
- rac环境将误建立在本地目录的数据文件转移到ASM存储中。
- android 将简单的数据存储到本地－SharedPreferences
- 将本地项目存储到github的步骤
- 如何将本地的一个新项目上传到GitHub上新建的仓库中去
- 黑马程序员高级学习视频IO输入输出流 将一个指定目录下的java文件的绝对路径，存储到一个文本文件中
- 一个将web中datatable下载到本地excel的函数
- Android 中多线程的简单使用
- Android 长按Listview 每个item底部弹出菜单
- ASP.NET My97DatePicker日期控件实现OA日期记事功能
- Linux下安装QT之版本qt-4.6.3
- struts2 中，如何覆盖默认的错误消息
- 将rdd存储到本地的一个文件中
- Java基础知识网络编程（TCP练习）
- mysql 给指定用户指定数据库
- Web自动化系列--Selenium WebDriver详细介绍
- ReactNative NodeJs v5.7.0稳定版官方下载
- Java集合---ConcurrentHashMap原理分析
- 今天发现一个JQ插件库网站
- Activity生命周期和启动模式
- Junit 4.7 MethodRule
