hive优化-压缩处理

[压缩]
1.设置mr中间的压缩处理
//设置中间结果是否可压缩,多次job的中间结果是否压缩处理。
SET hive.exec.compress.intermediate=true
//设置结果压缩编解码器
SET hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec


//是否控制最终job的输出压缩
SET hive.exec.compress.output=true
//设置输出压缩编解码器
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec


Compression_CodecExtension Splittable
Deflate org.apache.hadoop.io.compress.DefaultCodec.deflate N
GZip org.apache.hadoop.io.compress.GzipCodec.gz N
Bzip2 org.apache.hadoop.io.compress.BZip2Codec.gz Y
LZO com.hadoop.compression.lzo.LzopCodec.lzo N(preprocess,lzoindex)
LZ4 org.apache.hadoop.io.compress.Lz4Codec.lz4 N
Snappy org.apache.hadoop.io.compress.SnappyCodec.snappy N

2.hadoop配置压缩
//mapred-site.xml,控制job的output是否压缩
mapreduce.output.fileoutputformat.compress=false

//map输出发送前是否压缩。
mapreduce.map.output.compress=false