hadoop2.0 遇到的问题 （持续更新）

最近在弄hadoop2.0，把遇到的一些问题做个笔记：

版本：apache hadoop-2.2.0

2013-10-29

在启动nodemanager的时候报下面的错误：

2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManagerjava.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers

或者提交作业出现类似下面的错误：

3/10/29 11:49:01 INFO mapreduce.Job: Task Id : attempt_1383017347984_0001_m_000000_0, Status : FAILEDContainer launch failed for container_1383017347984_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

解决办法：

在yarn-site.xml 配置文件中增加：

        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property>

重启就ok了

这个问题其实是由于

yarn.nodemanager.aux-services

配置错误或者没有配置，其实，如果没有配置这个参数应该会有默认值。这是目前版本的一个小bug：

https://issues.apache.org/jira/i#browse/YARN-1289

2013-10-30：

配置 fairscheduler 的acl ， 发现不好使，无论是更新队列或者重启resourcemanager，acl还是不起作用

其实是个bug：https://issues.apache.org/jira/i#browse/YARN-1288

该问题已经解决：http://blog.csdn.net/baiyangfu_love/article/details/14004331

2013-11-01：

web ui 页面，想通过application id 查看作业详情，报下面的信息：

You (User dr.who) are not authorized to view application application_xxxx

这个问题是由于权限受限制，我们需要设置我们登录web页面的用户，在core-site.xml 文件添加如下设置：

        <property>                <name>hadoop.http.staticuser.user</name>                <value>hadoop</value>        </property>

这样就会正常的打开application详情页面