parquet压缩格式参数设置以及简单操作

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {    def main(args: Array[String]): Unit = {        val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")//        conf.set("spark.sql.parquet.compression.codec","uncompressed")        val sc = new SparkContext(conf)        val sqlContext = new SQLContext(sc)//        val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")//        DF.repartition(1)//        DF.write.parquet("F:/03.hadoop/data/a")        val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")        DF.show()        sc.stop()    }}