spark on yarn(ERROR client.TransportClient: Failed to send RPC)

来源:互联网 发布:grbl控制软件 编辑:程序博客网 时间:2024/06/05 05:12

主要是给节点分配的内存少,yarn kill了spark application。

给yarn-site.xml增加配置:

<property>    <name>yarn.nodemanager.pmem-check-enabled</name>    <value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name>    <value>false</value></property>

重启hadoop。然后再重新提交spark application即可。

0 0