KeyValueInputFormat自定义分割符

来源:互联网 发布:python创建临时文件夹 编辑:程序博客网 时间:2024/06/18 06:55
        Configuration conf = new Configuration();
        
        //设置行的分隔符,这里是制表符,第一个制表符前面的是Key,第一个制表符后面的内容都是value  
        //设置属性mapreduce.input.keyvaluelinerecordreader.key.value.separator = 分割符
        //在KeyValueLineRecordReader将调用属性
        conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator",",");
        
        Job job = Job.getInstance(conf, "run job");
        
        job.setInputFormatClass(KeyValueTextInputFormat.class);