hadoop 一些使用上的记录(ATCO)
来源:互联网 发布:阿里云客服在线时间 编辑:程序博客网 时间:2024/05/22 03:52
//设置MAP处理类为MutithreadedMapper
job.setMapperClass(MutithreadedMapper.class);
//设置MutithreadedMapper的线程数(建议使用配置)
MultithreadedMapper.setNumberOfThreads(job,10)
2、按行划分MAP,即实现输入文件按行划分,每N行一个MAP
//设置JOB的格式化输入类为NLineInputFormat
job.setInputFormatClass(NLineInputFormat.class)
//设置每N行为一个MAP,当然,这个数据最好使用计算的方法去得出,因为不然输入一个大文件会导致MAP很大,会导致占用整个集群资源,如限制最多只能占用N个MAP,当计算出来的MAP大于最大能占用MAP时,以最大可占用MAP数平分其行数
job.getConfiguration().set(NLineInputFormat.LINES_PER_MAP,"500");
3、将输出忽略KEY值(即输出时不带有KEY值,直接为每行一个VALUE)
这样的输出其实最简单的就是在输出时KEY值使用NullWritable.get()作类型即可,如:
context.write(NullWritable.get(),new Text("aaa"));
也可以重写格式化输出类。
4、输出时按情况使用不同的文件名输出结果
这种情况也可以重写格式化输出类实现。
这里说一种简单的方法:
1)、先在提交JOB之前,设置多行输出别名,设置其别名,输出类型,Key类型,value类型
MultipleOutputs.addNameOutput(job,"corpInfo",TextOutputFormat.class,Text.class,Text.class);
MultipleOutputs.setCounterEnabled(job,true);//重设别名输出后,其计算器要设置才能显示输出数
注:设置的别名只是标识输出格式,key格式,value格式的一个类变量。即表示,如果你要输出的文件有多种不同的格式标识,则设置多个别名以标示输出格式。
2)、在map中声明输出
private MultipleOutputs outs;
3)在map的setup方法中实例化输出类:
@Override
protected void setup(Context context){
outs=new MultipleOutputs(context);
}
4)在map的cleanup方法中关闭输出类:
public void cleanup(Context context) throws IOException,InterruptedException{
super.cleanup(Context);
outs.close;
}
5)在map中使用
outs.write("corpInfo",NullWritable.get(),new Text("aaa"),"result");
参数为:输入别名,KEY,VALUE,文件名
当要输出的数据其输出格式都一致时,可以用相同的别名进行输出成不同的文件名,文件名一般会加一些后缀,一般为机器节点标识值,如result0001
注:上面是MAP的输出,reduce也是一样的:声明输出类,实例化,使用
5、关于输入输出编码
hadoop源代码中涉及编码问题时都是写死的utf-8,但是不少情况下,也会遇到输入文件和输出文件需要GBK编码的情况。
输入文件为GBK,则只需在mapper或reducer程序中读取Text时,使用new String(text.getBytes(), 0, text.getLength(), encoding)进行一下转码即可正常读出。
输出文件为GBK,则重写TextOutputFormat类,如public class GBKFileOutputFormat<K, V> extends FileOutputFormat<K,V>,
把TextOutputFormat的源码拷过来,然后把里面写死的utf-8编码改成GBK编码。最后,在run程序中,设置job.setOutputFormatClass(GBKFileOutputFormat.class);
- hadoop 一些使用上的记录(ATCO)
- WINDOWS中NEXUS的安装使用【ATCO整理】
- 关于hadoop的一些记录
- hadoop的使用记录
- 关于ubuntu上使用github的一些记录
- mac上使用终端的一些记录文本
- Github 上的一些记录
- 初学hadoop的一些学习记录
- 这些天学习hadoop的一些记录
- Hadoop上的一些组件介绍
- Cloudera hadoop上的一些问题
- android camera开发的一些问题记录(上)
- 【java学习】Jni在hadoop上的使用(上)
- OkHttp3的使用记录(上)
- [置顶]记录一些设计上的事儿
- 记录一些工作上的事情
- spring使用的一些记录
- jquery使用的一些记录
- c++智能指针
- Activity的taskAffinities属性
- Mysql按条件计数的几种方法
- C++内存池的管理
- postgresql安装,启动
- hadoop 一些使用上的记录(ATCO)
- 可伸缩性最佳实践:来自eBay的经验
- 漏洞披露——开放还是保密?
- 22.c++-替换字符串中指定的字符(随手源码)
- USACO Section 1.1 Your Ride Is Here
- freebsd mountroot问题
- spice server qxl red_dispatcher_init 初始化代码
- PostgreSQL安装详细步骤(windows)
- CSS HACK区别IE6、IE7、IE8、Firefox兼容性