hadoop的使用

来源:互联网 发布:淘宝购物人群 编辑:程序博客网 时间:2024/04/30 20:22

使用这个大象已经有一两个月的时间了吧。基本上自己编程实现任务是有思路了,自己写了几个工作任务,但是都是在别人的程序的基础上的。具体加载多少东西,我觉得我还是照本宣科吧,很多东西没有用到就不去深究。最近搞定了多输入文档的使用,多个mapper使用同一个reducer,使用原理其实和单个mapper差不多,但是由于要到一个reducer所以要保证mapper的输出类型是一样的。再者由于MAPPER的输出一般是MAPWRITABLE的,这个时候更要保证其中的数据类型是一致的,否则要出错的啦。


还有,昨天在一个job中,由于把table的使用改成file了,所以我把由原来的table更新输入到了file,看了看应该没什么问题。job也跑完了,可发现没有输出,后来发现是输出outputformat中输出类型设置成了nullformat.class了。也就是说不输出文件,只更新table,我要输出file现在,所以这个一定要指定为输出类型。哎,我总是粗心大意啊……

原创粉丝点击