hadoop全局变量问题

来源:互联网 发布:c语言入门的书 编辑:程序博客网 时间:2024/05/01 04:49

在实际使用的场景中,我们会遇到这样的问题,就是需要读取一个全局性的变量,例如,我希望日期是一个全局性的变量,在map和reduce中都可以使用,例如在reduce中建表的时候会使用这个值

现在有两种场景和方法

1. 这个全局量是固定的,例如配置文件中的量,不需要根据用户的输入进行调整的

可以这样做

private static Map<String, String> secondMapCate = new HashMap<String, String>();static {try {Set<String> set = getStringSet("jianzhi");for(String s : set) {secondMapCate.put(s, "" + 577);}} catch (Exception e) {e.printStackTrace();}}

这就实现了一个将配置文件中的内容读到变量secondMapCate的功能,其中getStringSet函数就是自己实现读文件的函数

2. 这个全局量是不固定,根据用户的输入这个量是变化的,例如我要重跑历史数据,所以可以这样做

定义一个变量

private static final String RIQI = "riqi";
在main函数中获得用户输入的日期

Configuration conf = new Configuration();conf.set(RIQI, riqi);

在reduce中获得这个变量的数据

String riqi = context.getConfiguration().get(RIQI);





0 0