Spark学习之数据读取与保存(4)
来源:互联网 发布:淘宝和天猫正品率对比 编辑:程序博客网 时间:2024/06/10 09:15
Spark学习之数据读取与保存(4)
1. 文件格式
Spark对很多种文件格式的读取和保存方式都很简单。如文本文件的非结构化的文件,如JSON的半结构化文件,如SequenceFile结构化文件。通过扩展名进行处理。
2. 读取/保存文本文件
Python中读取一个文本文件
input = sc.textfile("file:///home/holen/repos/spark/README.md") Scala中读取一个文本文件 val input = sc.textFile("file:///home/holen/repos/spark/README.md") Java中读取一个文本文件 JavaRDD<String> input = sc.textFile("file:///home/holen/repos/spark/README.md")
saveAsTextFile()方法用了保存为文本文件
3. 读取/保存JSON文件
Python中读取JSON文件
import json data = input.map(lambda x: json.loads(x)) Python中保存为JSON文件 (data.filter(lambda x: x["lovesPandas"]).map(lambda x: json.dumps(x))) .saveAsTextFile(outputFile)
4. Spark SQL中的结构化数据
结构化数据指的是有结构信息的数据————也就是所有的数据记录都有具有一致字段结构的集合。在各种情况下,我们把一条SQL查询给Spark SQL,让它对一个数据源执行查询,然后得到由Row对象组成的RDD,每个Row对象表示一条记录。
1 0
- Spark学习之数据读取与保存(4)
- Spark学习之五-数据的读取与保存
- Spark--数据读取与保存
- Spark 数据读取与保存
- spark快速大数据分析之数据读取与保存
- Spark由浅到深(4) -- 数据读取与保存
- Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性
- Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性
- Spark学习笔记——数据读取和保存
- 数据读取与保存
- 常用的spark数据读取和保存
- OpenCV学习笔记(4)视频文件的读取与保存
- 【R语言学习笔记】一、 数据的读取与保存
- JDBC之大段文本数据的保存与读取
- TRichView数据保存与读取
- Android学习之3:文件的保存与读取
- Android学习笔记之文件的保存与读取
- android SharedPreferences 保存数据与读取数据
- 如何避免父UIView触摸事件影响到子UIView
- 使用Python和shell脚本打包ipa
- Java DOM 解析 XML详解
- Codeforce 题目614AA. Link/Cut Tree(水题,坑精度啊)
- HP pavilion安装Ubuntu14.04后,无线不能使用解决方案
- Spark学习之数据读取与保存(4)
- 如何找出nginx配置文件的所在位置
- 新手必备的常用代码片段整理(一)
- TCP套接字和UDP套接字可以共用相同端口号
- 关于java继承的一道题,你能答对吗?
- Qt浅谈之三十九圆形进度条
- go语言学习-method和function
- html超链接打开的窗口大小
- 英文的理解(二)