设置mapreduce压缩输出

来源:互联网 发布:零基础自学编程 编辑:程序博客网 时间:2024/06/08 06:23
map的压缩输出
conf.setBoolean("mapred.compress.map.out", true);//设置map输出压缩  
 conf.setClass(Job.MAP_OUTPUT_COMPRESS_CODEC, GzipCodec.class, CompressionCodec.class);

reduce的压缩输出
  conf.setBoolean("mapred.output.compress", true);//设置输出压缩