两种yarn集群提交方式

来源:互联网 发布:淘宝卖家寄快递怎么做 编辑:程序博客网 时间:2024/06/09 20:37
  1. yarn
    yarn是一种新的hadoop资源管理器,包括
    一个全局的资源管理器ResourceManager,ResourceManager的每个节点代理NodeManager,
    每个应用的APplicationMaster,
    每个ApplicationMaster拥有多个Container在NodeManager上运行
  2. yarn-client提交模式
    一般用于测试,在本地启动driver,发送请求给RM,请求启动AM,RM分配一个container在某个NM上,启动AM(ExecutorLauncher),RM分配一批container,AM连接其他NM,使用container资源启动executor,executor反向注册到本地的driver上。由于driver运行在本地,可方便看到所有日志方便调试,同时,调度application时,会与yarn集群产生大量的网络通信。
  3. yarn-cluster提交模式
    发送请求给RM,请求启动AM,RM分配container在某个NM上,启动AM,RM启动一批container,AM找RM请求container,启动executor,executor向AM反向注册。此时AM相当于driver。不方便看日志,driver运行在集群,没有网络通信问题。
原创粉丝点击