Mapreduce之间的参数传递

来源:互联网 发布:网络机顶盒看电影软件 编辑:程序博客网 时间:2024/04/29 23:19

对于复杂的数据可以考虑把数据保存的公共的结点,然后在map'的setup方法中去读取这个文件,从而获得共享的数据,而对于简单的数据可以用conf进行传递。


在驱动函数里面
Configuration conf2=getConf();
conf2.set("temp", String.valueOf(123));
Job job2 = new Job(conf2, "Idf");//特别要注意的就是这条语句和上面一行绝不能颠倒

在Mapper里面:
String s=context.getConfiguration().get("temp");//注意,conf的获取是从context中获取,而不是重新new一个。
这样便可以再map或者reduce里获得temp参数,可以是不同数据类型。

原创粉丝点击