大数据IMF传奇行动绝密课程第61课:Spark SQL数据加载和保存内幕深度解密实战

来源:互联网 发布:金自天正押注人工智能 编辑:程序博客网 时间:2024/04/30 20:41

Spark SQL数据加载和保存内幕深度解密实战

1、Spark SQL加载数据
2、Spark SQL保存数据
3、Spark SQL对数据处理的思考

sqlContext.read().json(“”) 和 sqlContext.read().format(“json”).load(“Somepath”)等价;如果不指定format的话默认使用Parquet格式读取

sqlContext.write().json()和sqlContext.write().mode(SaveMode.Append).format(“json”).save(“Somepath”)等价,如果不指定format的话默认使用Parquet格式写入

sqlContext.read()获取读取的对象
sqlContext.write()获取写入的对象

0 0