(7)mapreduce 不执行reduce

来源:互联网 发布:php生成短网址 编辑:程序博客网 时间:2024/05/20 04:49

reduce函数就是可选的,当不指定Reduce时候,系统会使用缺省的reduce函数(一般都没有什么操作)
不想要reduce就把其设置为NONE
job.setNumReduceTasks(0);//设置个数为0 ;
也可以在mapred-site.xml下设置:

<property>    <name>mapred.reduce.tasks</name>    <value>0</value></property>

1.如果你的map过程中没有context.write()是不执行reduce过程的;

2.如果你的map过程中context.write()的map后的的部分数据出现问题,不符合reduce接受的数据也会不执行reduce

0 0
原创粉丝点击