hadoop提交作业报错:InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

来源:互联网 发布:闲鱼 淘宝二手ipad 编辑:程序博客网 时间:2024/05/01 15:00

hadoop版本:2.7.3


提交时报错:InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

查看yarn-site.xml:

明明是有这个配置的

<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>


后面查资料,需要添加如下配置

<property>
                <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>


增加以上配置后,重启hadoop,可以正常运行。

0 0