mapreduce中的压缩

转载请注明出处：http://blog.csdn.net/lastsweetop/article/details/9187721

作为输入

当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。

作为输出

当mapreduce的输出文件需要压缩时，可以更改mapred.output.compress为true，mapped.output.compression.codec为想要使用的codec的类名就

可以了，当然你可以在代码中指定，通过调用FileOutputFormat的静态方法去设置这两个属性，我们来看代码：

[java] view plaincopy

1. package com.sweetop.styhadoop;  
2.   
3. import org.apache.hadoop.fs.Path;  
4. import org.apache.hadoop.io.IntWritable;  
5. import org.apache.hadoop.io.Text;  
6. import org.apache.hadoop.io.compress.GzipCodec;  
7. import org.apache.hadoop.mapreduce.Job;  
8. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
9. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
10.   
11. import java.io.IOException;  
12.   
13. /** 
14.  * Created with IntelliJ IDEA. 
15.  * User: lastsweetop 
16.  * Date: 16-6-27 
17.  * Time: 下午7:48 
18.  * To change this template use File | Settings | File Templates. 
19.  */  
20. public class MaxTemperatureWithCompression {  
21.     public static void main(String[] args) throws Exception {  
22.         if (args.length!=2){  
23.             System.out.println("Usage: MaxTemperature <input path> <out path>");  
24.             System.exit(-1);  
25.         }  
26.         Job job=new Job();  
27.         job.setJarByClass(MaxTemperature.class);  
28.         job.setJobName("Max Temperature");  
29.   
30.         FileInputFormat.addInputPath(job, new Path(args[0]));  
31.         FileOutputFormat.setOutputPath(job, new Path(args[1]));  
32.   
33.         job.setMapperClass(MaxTemperatrueMapper.class);  
34.         job.setCombinerClass(MaxTemperatureReducer.class);  
35.         job.setReducerClass(MaxTemperatureReducer.class);  
36.   
37.         job.setOutputKeyClass(Text.class);  
38.         job.setOutputValueClass(IntWritable.class);  
39.   
40.         FileOutputFormat.setCompressOutput(job, true);  
41.         FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);  
42.   
43.         System.exit(job.waitForCompletion(true)?0:1);  
44.   
45.     }  
46. }