MapReduce下的数据传递

来源：互联网发布：淘宝论文降重靠谱吗编辑：程序博客网时间：2024/05/21 09:08

首先明确：

1.Hadoop不支持全局变量，也不建议使用全局变量。

我的理解是，这是因为hadoop具有map类和reducer类，并且不同的task一般执行的是不同的map或reduce。所以全局变量是无法传递的。（但是一般情况下，我们也许会需要一个对于所有map和reduce都能访问的全局变量），暂时我知道的解决方法如下：

2.如果Mapper类和Reducer类都是主类的内部类，可以在主类中使用 private static string global = "global variable";

但是这种方法不通用，因为Mapper类和Reducer类在概念上是与主类无关的。很多情况下，他们不是主类的内部类。所以该task所拥有的信息，只能从context上下文中获得，这也正体现了常说的：充足的上下文信息才是关键！

修正：Mapper类（或Reducer类）使用主类名.global 也可以获取全局变量。。

3.设置xml文件，然后在map函数中读取即可；

这种方法有一个缺点，值只能从客户端传递到Mapper中，reduce不能读出来。实际上reducer所知道的只有context信息。

4.直接在Configuration中设置属性值，然后读取这个属性值，在Mapper或Reducer中使用变量来存储这个值即可。

可以看出这种方式最为麻烦。可以将各个属性值放入文件中，然后在文件读取即可。

关键代码如下：

[java] view plaincopy
//初始化configuration后，使用  
conf.set("propertyName“，properyValue);  
  
 //在mapper或reducer中，  
 Configuration conf = context.getConfiguration();  
 String g = conf.get("propertyName");  
  
   //g作为可以使用的全局变量即可；  

这里的文章讲述了hadoop下数据的传递：http://blog.csdn.net/jackydai987/article/details/6441241

代码如下：

[java] view plaincopy
public class xml_test {  
    public static int getFileInt(String filename) //从文件中读取预设值  
    {  
        int temp = 0;  
        Configuration config = new Configuration();  
        FSDataInputStream dis = null;  
        try {  
                ByteArrayOutputStream baos = new ByteArrayOutputStream();   
                FileSystem hdfs = FileSystem.get(config);  
                dis = hdfs.open(new Path(filename));  
                IOUtils.copyBytes(dis, baos, 4096, false); //写入ByteArrayOutputStream  
                String str = baos.toString();  //这里我假定只有一行，多行可以使用循环。  
                str = str.substring(0, str.length() - 1); //最后一个是回车，需要过滤掉，不然在整形转换时会出错  
                temp = Integer.parseInt(str);  
            } catch (IOException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            }     
            finally{  
                IOUtils.closeStream(dis);  
            }  
        return temp;  
}  
    public static  class wordcountMapper extends  
        Mapper<LongWritable, Text, Text, IntWritable>{  
        int temp2 = getFileInt("/user/jackydai/int"); //从文件中读取预设的值  
        //这里也可以通过args参数传一个文件进来，这样更灵活  
        private Text word = new Text();  
        public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException{  
            int temp1 = 0;  
            Configuration mapconf = context.getConfiguration();  
            temp1 = mapconf.getInt("count", 0); //map读取值  
            IntWritable one = new IntWritable(temp1 + temp2); //求和后输出，检测是否正确  
            String line = value.toString();  
            StringTokenizer itr = new StringTokenizer(line);  
            while(itr.hasMoreElements()){  
                word.set(itr.nextToken());  
                context.write(word, one);  
            }  
        }  
    }  
    public static  class wordcountReduce extends  
        Reducer<Text, IntWritable, Text, IntWritable>{  
        public void reduce(Text key, Iterable<IntWritable>values, Context context)throws IOException, InterruptedException{  
            int sum = 0;  
            for (IntWritable str : values){  
                sum += str.get();  
            }  
            context.write(key, new IntWritable(sum));  
        }  
    }  
    public static  void main(String args[])throws Exception{  
          
        Configuration conf = new Configuration();  
          
        conf.setInt("count", 2); //设置值为2，需要注意的是设置值需要在new job之前  
          
        Job job = new Job(conf, "xml_test");  
          
        job.setJarByClass(xml_test.class);  
          
        job.setInputFormatClass(TextInputFormat.class);  
          
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(IntWritable.class);  
          
        job.setMapperClass(wordcountMapper.class);  
        job.setReducerClass(wordcountReduce.class);  
        job.setCombinerClass(wordcountReduce.class);  
          
        FileInputFormat.setInputPaths(job, new Path(args[1]));  
        FileOutputFormat.setOutputPath(job, new Path(args[2]));  
          
        job.waitForCompletion(true);  
    }  
} 