关于Hadoop的两个YARN参数

来源:互联网 发布:java jersey restful 编辑:程序博客网 时间:2024/06/05 14:55
    在Hadoop启动的过程中发现,两个slave只有一个NodeManager启动了,另一个没有启动,但是他们的配置都是一样的,而且硬件配置也是一样的,再者也用free等去查看了内存等的运行情况,但是还是起不来。报的错误日志是:NodeManager from slave2 doesn't satisfy minimum allocations, Sending SHUTDOW,slave2就是那个起不来的主机的hostname。    最后抱着试一试的态度发现,在yarn-site.xml中增加两个以下的参数就能起来:    <property>      <name>yarn.nodemanager.resource.memory-mb</name>      <value>1024</value>    </property>    <property>      <name>yarn.nodemanager.resource.cpu-vcores</name>      <value>1</value>    </property>    这个就很奇怪了,因为命名配置的两个参数实际上本身就是默认值,既然是默认是那么配置和不配置岂不是都是一样的吗?我做了测试,这俩参数一个都不能少,原因网上资料很少,估计需要看了源码才能知道,姑且先记下来,等以后抽空研究下源码再说。    参考资料:http://blog.csdn.net/u013641234/article/details/51123648    http://blog.csdn.net/suifeng3051/article/details/45477773
原创粉丝点击