hadoop节点nodemanager启动失败原因小结~

来源:互联网 发布:linux 启动openoffice 编辑:程序博客网 时间:2024/06/05 18:22

slaves节点报错,报的是启动nodemanager 所需内存不足

报错内容:

ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdaterorg.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

于是在网上搜索的相关问题,大部分都是修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024,

 <property>
        <!--参数解释:NodeManager总的可用物理内存。注意,该参数是不可修改的,一旦设置,整个运行过程中不 可动态修改。另外,该参数的默认值是8192MB,即使你的机器内存不够8192MB,YARN也会按照这些内存来使用(傻不傻?),因此,这个值通过一 定要配置。不过,Apache已经正在尝试将该参数做成可动态修改的。默认值:8192(8GB)当该值配置小于1024(1GB)时,NM是无法启动的!会>报错:NodeManager from  slavenode2 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.-->
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>

其中也是我借鉴过来的,我不知道管不管用,我也修改成1024了,反正在我这没起到作用。

后来我在csdn中发帖,一哥们http://my.csdn.net/ArayChou就是他给我说的  修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G

nodemanager就启动起来了

还有 如果一切正常 dataNode启动不起来的话 可以删除你 hadoop/dfs 中的 data下的所有文件夹和文件  data文件清空后还会再生成

然后再格式namonode 。  

#hadoop namenode -format

0 0
原创粉丝点击